0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

电子人须知的视觉处理器芯片厂商及型号

M8kW_icbank 来源:互联网 作者:佚名 2017-11-13 14:09 次阅读

视觉处理技术一直是大家关注的热点领域。在最近的Linley Processor Conference上一致的认为,随着视觉传感器收集的数据越来越多,以及模型的复杂,对硬件提出了更高的要求,处理必须实时完成,同时消耗的电量必须更低。本文只是就视觉处理芯片的ISP(Image Signal Processing)和CV(Compute Vision)两部分进行介绍。

ISP的主要功能包括AE(自动曝光)、AF(自动对焦)、AWB(自动白平衡)、去除图像噪声、LSC(Lens Shading Correction)、BPC(Bad PixelCorrection),最后把Raw Data保存起来,传给videocodec或CV等。通过ISP可以得到更好的图像效果,因此在智能手机特别是在高端手机上对ISP的要求很高,比如开始集成双通道甚至三通道的ISP。一般来说ISP是集成在AP里面(对很多AP芯片厂商来说,这是差异化竞争的关键部分),但是随着需求的变化也出现了独立的ISP,主要原因是可以更灵活的配置,同时弥补及配合AP芯片内ISP功能的不足。如采用Socionext,Altek,X-Chip、RK等公司的,如下图结构。

Rockchip的RK1608 Pre-ISP芯片,集成了2颗600MHZ主频的CEVA-XM4,采用256MB内存,支持3路输入2路输出,或4路输入1路输出。配合第三方的算法,可以实现拍照和录像时的暗光增强,HDR(高动态范围图像),电子防抖,多帧降噪等预处理等。据RK的CMO在演讲中提到其在HDR上的性能媲美Google的pixel Visual Core。其实RK早先推出过图像处理SoC芯片RK1108,同样内嵌CEVAXM4@600MHZ,同时带video codec,多功能语音处理能力,可见RK在视觉领域其实也算布局已久。

而CV是指对得到的图像进行目标识别、跟踪、测量等视觉行动。上文提到的Pixel Visual Core芯片是谷歌收购的一家公司的产品,被应用在谷歌Pixel2和Pixel2 XL手机上,作为协处理器配合高通骁龙835芯片。该芯片的核心是8核IPU(ImageProcessing Unit图像处理单元),每个IPU 都有512算术逻辑单元(ALU)。除了通过用Halide来进行图像处理,用TensorFlow处理机器学习,Google还做了一个编译器,来优化硬件代码,Google使得IPU的功能一场的强大。可见该芯片的主要功能其实是CV。同样海思Kirin 970和AppleA11主芯片内也嵌有CV模块。

在ISP和CV上不得不提的是众多的芯片IP厂商,IP厂商的出现降低了芯片厂商的开发门槛,但同时也有可能带来同质化的后果。目前在视觉处理芯片上最成功的IP厂商要数CEVA了,如在上图中看到的CEVA的DSP XM系列 在Pre ISP,ISP及Post ISP上的应用,同时也推出了用于CV的DNN加速软硬件环境。自从高通的Hexagon DSP在深度学习上的应用,普遍的看法是DSP加深度学习的HW Accelerator,在嵌入式视觉上应用会更高效。CEVA-XM与CNN硬件加速器(最高可512个MAC单元)搭配使用,可实现Vision DSP和HW CNN的高效运行,目前已经有大量的公司采用CEVA的IP开发ISP及CV的芯片。

Synopsys开发的EV6x Embedded Vision Processor采用的方式类似,它可以将1到4个CPU核与CNN Engine结合。CNN Engine的MACs数量可以从880增加到1760再到3520个,用台积电16纳米制造芯片,频率1.28GHz,芯片的总MACs最高可以达到4.5万亿(相当于9 teraflops的性能)。

Cadence的Tensilica也推出了基于ISP和CV的DSP。Vision C5是一个神经网络DSP(NNDSP,数字信息处理器),它在一个内核内处理神经网络层,网络层拥有1024个8位和512个16位MACs,每平方毫米芯片面积每秒可以完成1万亿次MACs(一个机器指令周期能实现乘加运算)运算。Vision C5有很强的扩展性,内核可以增加到任意数量,拥有更强的性能,可以编程。Vision C5是用台积电16纳米制程制造的,频率690MHz,与商用GPU相比,它能让AlexNet的运行速度提高6倍,让Inception V3提高9倍,让ResNet50提高4.5倍。

而全球最大的IP公司ARM由于侧重于移动端的CPU和GPUIP,在DSP上的布局稍慢。当然由于ISP对移动端来说至关重要,ARM也不会错过。通过收购Apical获得了ISP的Know How,三星某款型号芯片上采用了该技术。但目前来看ISP与Video Codec的协同会更多,在嵌入式CV上的布局有待进一步确认。

目前从视觉处理器SoC芯片产品来说,最知名的公司莫过于Movidius了,该公司已被Intel收购。Movidius的Myriad2VPU在很多领域被广泛采用,包括大疆无人机,安防的海康和大华,以及在VR/AR等领域,实现图像拼接、识别等AI功能。该款VPU采用12个SHAVE 128位SIMD矢量单元,适合低功耗高性能下的视觉和图像算法,同时在Computational Imaging Hardware Accelerators部分集成了20多种图形图像的硬件加速算法,该芯片的时钟只有300-600MHz,因此对于功率的要求很低。

另一家出名的3D深度及计算视觉芯片公司要数Inuitive(可用于AR/VR/MR等)了。其产品NU3000是谷歌Project Tango生态系统的一部分。开发人员能够利用它来助力需要实时深度图生成、映射、定位、导航和其它复杂信息处理算法的应用。该芯片包含的功能强大,包含了Vision/Deep Learning Processor、ComputerVision Accelerators、Depth Processing Engine、Vision Processor等。需要指出的是,从应用来看,Movidius和Inutive的芯片是为AI相关应用而设计的,对画质的要求不需要那么高,ISP部分应该做了简化。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • ISP
    ISP
    +关注

    关注

    6

    文章

    454

    浏览量

    50764
  • 视觉处理芯片

    关注

    2

    文章

    8

    浏览量

    6494
  • rk1608
    +关注

    关注

    0

    文章

    1

    浏览量

    3020
  • pre_isp芯片
    +关注

    关注

    0

    文章

    1

    浏览量

    1624

原文标题:视觉处理器芯片的梳理

文章出处:【微信号:icbank,微信公众号:icbank】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    国产GPU搭配国产处理器平台主机

    处理器gpu
    GITSTAR 集特工控
    发布于 :2024年03月27日 14:11:32

    XY6789 双4G 处理器 #物联网 #芯片 #嵌入式

    处理器物联网
    jf_87063710
    发布于 :2024年03月25日 09:40:13

    RISC-V处理器对应什么开发环境?

    RISC-V处理器是开源的,那开发环境需要厂商自己开发还是沿用传统的开发环境呢?比如keil
    发表于 01-13 19:18

    加持AI超分技术的视觉处理器,带来手机游戏画质的飞跃

    算力,那么这个时候,或许一颗独立的视觉处理器成为游戏手机的刚需。   逐点半导体Pixelworks的视觉处理器已经应用于不少品牌的旗舰游戏手机,最近逐点进一步提升
    发表于 10-23 15:47 283次阅读
    加持AI超分技术的<b class='flag-5'>视觉</b><b class='flag-5'>处理器</b>,带来手机游戏画质的飞跃

    青稞处理器资料分享

    简介 青稞处理器是沁恒微电子自研的32位微处理器,遵循和兼容开源的RISC-V指令集架构规范,并提供可选的功能扩展。支持IMAFC指令集和自定义压缩指令,并提供硬件压栈(HPE)、免表中断(VTF
    发表于 10-11 10:42

    银牛微电子视觉AI处理器采用芯原创新ISP IP

    2023年9月21日,中国上海——芯原股份 (芯原,股票代码:688521.SH) 今日宣布3D视觉与人工智能(AI)解决方案提供商银牛微电子 (简称“银牛”) 在其量产的NU4100视觉AI
    发表于 09-21 14:08 282次阅读

    银牛视觉AI处理器采用芯原创新的ISP IP

    芯原股份今日宣布3D视觉与人工智能(AI)解决方案提供商银牛微电子(简称“银牛”)在其量产的NU4100视觉AI处理器中采用了芯原低延迟、低功耗的双通道图像信号
    的头像 发表于 09-21 11:12 511次阅读

    芯原的ISP满足NU4100视觉AI处理器目标市场的广泛需求

    处理器中采用了芯原低延迟、低功耗的双通道图像信号处理器 (ISP) IP,为机器人、增强现实 (AR)/虚拟现实 (VR)/混合现实 (MR)、无人机等多种应用领域带来了优秀的图像和视觉体验。 银牛NU4100是一款高度集成的单
    的头像 发表于 09-21 10:50 459次阅读

    cpu处理器里面除了硅基芯片还有啥

    除了硅基芯片,CPU处理器还包括以下组成部分: 基板:用于在处理器中形成电路的基底,负责连接各个芯片组件。 控制:用于控制数据和指令的传输
    发表于 09-05 16:41

    5g芯片有哪些处理器

    5g芯片有哪些处理器  随着5G时代的到来,5G芯片的研发也成为了一个热门话题。作为5G手机的核心部件之一,5G芯片处理器负责着大量的计算
    的头像 发表于 09-01 15:54 1915次阅读

    如何使用ARM KEIL MDK工具包的微芯片SAM L10 Cortex-M23处理器

    /APNT_298.asp Keil MDK支持大多数微芯片(和Atmel)ARM处理器,并提供了示例。 查看www.keil.com/dd2上的Keil Device数据库®。 此列表也由μ视觉包安装实用程序
    发表于 08-29 07:33

    m3芯片与m1处理器参数对比

    m3芯片与m1处理器参数对比 摘要: M3芯片和M1处理器是苹果公司推出的两种处理器。虽然它们都是苹果公司的高端产品,但它们的设计和性能有很
    的头像 发表于 08-16 11:33 6000次阅读

    2023年国产处理器厂商调研与市场分析报告

    2023年版Top50国产处理器厂商调研与市场分析报告涵盖CPU、GPU、FPGA、DSP和多媒体SoC等处理器芯片类别,分别从全球和中国市场趋势、
    的头像 发表于 07-05 10:12 949次阅读
    2023年国产<b class='flag-5'>处理器</b><b class='flag-5'>厂商</b>调研与市场分析报告

    2023年国产处理器厂商调研与市场分析报告

    2023年版Top 50 国产处理器厂商调研与市场分析报告涵盖CPU、GPU、FPGA、DSP和多媒体SoC等处理器芯片类别,分别从全球和中国市场趋势、
    的头像 发表于 07-05 09:00 599次阅读
    2023年国产<b class='flag-5'>处理器</b><b class='flag-5'>厂商</b>调研与市场分析报告

    新一代面向边缘应用的AI视觉处理器

    最近,笔者与Ambarella的AIoT高级总监Jerome Gigot进行了交流,该公司专门为边缘应用程序创建AI视觉处理器
    发表于 05-08 16:03 465次阅读
    新一代面向边缘应用的AI<b class='flag-5'>视觉</b><b class='flag-5'>处理器</b>