电子人须知的视觉处理器芯片厂商及型号

视觉处理技术一直是大家关注的热点领域。在最近的Linley Processor Conference上一致的认为，随着视觉传感器收集的数据越来越多，以及模型的复杂，对硬件提出了更高的要求，处理必须实时完成，同时消耗的电量必须更低。本文只是就视觉处理芯片的ISP（Image Signal Processing）和CV（Compute Vision）两部分进行介绍。

ISP的主要功能包括AE（自动曝光）、AF（自动对焦）、AWB（自动白平衡）、去除图像噪声、LSC(Lens Shading Correction)、BPC(Bad PixelCorrection)，最后把Raw Data保存起来，传给videocodec或CV等。通过ISP可以得到更好的图像效果，因此在智能手机特别是在高端手机上对ISP的要求很高，比如开始集成双通道甚至三通道的ISP。一般来说ISP是集成在AP里面（对很多AP芯片厂商来说，这是差异化竞争的关键部分），但是随着需求的变化也出现了独立的ISP，主要原因是可以更灵活的配置，同时弥补及配合AP芯片内ISP功能的不足。如采用Socionext，Altek，X-Chip、RK等公司的，如下图结构。

Rockchip的RK1608 Pre-ISP芯片，集成了2颗600MHZ主频的CEVA-XM4，采用256MB内存，支持3路输入2路输出，或4路输入1路输出。配合第三方的算法，可以实现拍照和录像时的暗光增强，HDR（高动态范围图像），电子防抖，多帧降噪等预处理等。据RK的CMO在演讲中提到其在HDR上的性能媲美Google的pixel Visual Core。其实RK早先推出过图像处理SoC芯片RK1108，同样内嵌CEVAXM4@600MHZ，同时带video codec，多功能语音处理能力，可见RK在视觉领域其实也算布局已久。

而CV是指对得到的图像进行目标识别、跟踪、测量等视觉行动。上文提到的Pixel Visual Core芯片是谷歌收购的一家公司的产品，被应用在谷歌Pixel2和Pixel2 XL手机上，作为协处理器配合高通骁龙835芯片。该芯片的核心是8核IPU（ImageProcessing Unit图像处理单元），每个IPU 都有512算术逻辑单元（ALU）。除了通过用Halide来进行图像处理，用TensorFlow处理机器学习，Google还做了一个编译器，来优化硬件代码，Google使得IPU的功能一场的强大。可见该芯片的主要功能其实是CV。同样海思Kirin 970和AppleA11主芯片内也嵌有CV模块。

在ISP和CV上不得不提的是众多的芯片IP厂商，IP厂商的出现降低了芯片厂商的开发门槛，但同时也有可能带来同质化的后果。目前在视觉处理芯片上最成功的IP厂商要数CEVA了，如在上图中看到的CEVA的DSP XM系列 在Pre ISP，ISP及Post ISP上的应用，同时也推出了用于CV的DNN加速软硬件环境。自从高通的Hexagon DSP在深度学习上的应用，普遍的看法是DSP加深度学习的HW Accelerator，在嵌入式视觉上应用会更高效。CEVA-XM与CNN硬件加速器（最高可512个MAC单元）搭配使用，可实现Vision DSP和HW CNN的高效运行，目前已经有大量的公司采用CEVA的IP开发ISP及CV的芯片。

Synopsys开发的EV6x Embedded Vision Processor采用的方式类似，它可以将1到4个CPU核与CNN Engine结合。CNN Engine的MACs数量可以从880增加到1760再到3520个，用台积电16纳米制造芯片，频率1.28GHz，芯片的总MACs最高可以达到4.5万亿（相当于9 teraflops的性能）。

Cadence的Tensilica也推出了基于ISP和CV的DSP。Vision C5是一个神经网络DSP（NNDSP，数字信息处理器），它在一个内核内处理神经网络层，网络层拥有1024个8位和512个16位MACs，每平方毫米芯片面积每秒可以完成1万亿次MACs（一个机器指令周期能实现乘加运算）运算。Vision C5有很强的扩展性，内核可以增加到任意数量，拥有更强的性能，可以编程。Vision C5是用台积电16纳米制程制造的，频率690MHz，与商用GPU相比，它能让AlexNet的运行速度提高6倍，让Inception V3提高9倍，让ResNet50提高4.5倍。

而全球最大的IP公司ARM由于侧重于移动端的CPU和GPUIP，在DSP上的布局稍慢。当然由于ISP对移动端来说至关重要，ARM也不会错过。通过收购Apical获得了ISP的Know How，三星某款型号芯片上采用了该技术。但目前来看ISP与Video Codec的协同会更多，在嵌入式CV上的布局有待进一步确认。

目前从视觉处理器SoC芯片产品来说，最知名的公司莫过于Movidius了，该公司已被Intel收购。Movidius的Myriad2VPU在很多领域被广泛采用，包括大疆无人机，安防的海康和大华，以及在VR/AR等领域，实现图像拼接、识别等AI功能。该款VPU采用12个SHAVE 128位SIMD矢量单元，适合低功耗高性能下的视觉和图像算法，同时在Computational Imaging Hardware Accelerators部分集成了20多种图形图像的硬件加速算法，该芯片的时钟只有300-600MHz，因此对于功率的要求很低。

另一家出名的3D深度及计算视觉芯片公司要数Inuitive（可用于AR/VR/MR等）了。其产品NU3000是谷歌Project Tango生态系统的一部分。开发人员能够利用它来助力需要实时深度图生成、映射、定位、导航和其它复杂信息处理算法的应用。该芯片包含的功能强大，包含了Vision/Deep Learning Processor、ComputerVision Accelerators、Depth Processing Engine、Vision Processor等。需要指出的是，从应用来看，Movidius和Inutive的芯片是为AI相关应用而设计的，对画质的要求不需要那么高，ISP部分应该做了简化。