嵌入式神经网络加速器的市场需求将持续增加

（文章来源：OFweek）

随着许多嵌入式系开始变得智能且自主，以人工智能（AI）神经网络为导向的嵌入式系统市场即将起飞，神经网络加速器大战一触发。嵌入式神经网络加速器市场持续升温，从智能音箱、无人机到智能灯泡等越来越多的系统准备在本地执行神经网络，以取代传送至云端进行运算的途径。

英特尔旗下子公司Movidius在上周推出了一款采用USB外形的独立式人工智能（AI）加速器。 El－Ouazzane说，这款名为Movidius神经运算棒（Neural Compute Stick）的AI加速器设计，可轻松简单地插入Raspberry Pi或X86 PC，让大学研究人员、独立软件开发人员与程序增补人员易于为嵌入式系统进行编译、调整以及加速深度学习应用。

Movidius在去年秋天被英特尔收购后，如今已成为英特尔新技术部门的一部份。 Movidius之前曾经开发出业界首款视觉处理器——Myriad 2 VPU。 如今，El－Ouazzane表示，推出这款运算棒的最终目标在于让Movidius VPU成为可在边缘执行神经网络的参考架构。

尽管目标远大，但业界分析师随即指出，Movidius Myriad 2 VPU当然不是嵌入式系统中可在边缘执行神经网络的唯一选择。Tirias Research首席分析师Jim McGregor表示：「从技术上来看，您可以使用任何具有处理组件的开发板，并用于执行一种模型。 例如机器学习（Machine learning）／AI模型已经执行于各种广泛的处理器和SoC了，特别是针对行动领域。 

高通（Qualcomm）以Snapdragon系列实现的影像辨识可说是最佳的例子。 高通从Snapdragon 820开始采用自家开发的模型，McGregor说：Snapdragon基本上就是推理引擎。

具有平行处理组件（如GPU、DSP和FPGA）的处理解决方案非常适于作为推理引擎。 McGregor解释说，许多正在开发中的客制化芯片解决方案都采用可内建于SoC的DSP或FPGA。Linley Gwennap首席分析师Linley Gwennap对此表示赞同。 他在最近出刊的《微处理器报告》（Microprocessor Report）中写道：高通、苹果（Apple）和英特尔（Movidius）都在打造一种新的产品类别：神经加速器。 

Gwennap解释说，对于这些以客户端为基础的加速器需求来自于要求极低延迟的自动驾驶车。 Gwennap在该报告的评论中指出，在本地进行处理的新技术将会开始渗透至一些较低成本的应用。 他预测，在消费装置中，小型的神经加速器可能是SoC中的一个重要区块，就像是绘图核心或图像处理器一样。 几家知识产权（IP）供货商开始提供这一类加速器，期望尽可能地降低额外的硬件成本。 

Gwennap在的访谈中指出，Movidius Neural Compute Stick对于开发人员几乎没有什么不同。 对于开发人员来说，这并没什么不起。 典型的PC就能产生至少100GFLOPS，特别是如果它还内建绘图卡，直接在PC上进行开发会更好。 对于需要较低功率处理器的嵌入式系统，高通Snapdragon 835提供超过250GOPS的效能，对于大多数的推理应用来说都够了。 

不过，Movidius的El－Ouazzane并不赞同这样的看法。首先，Movidius Neural Compute Stick利用USB让神经网络更易于存取，有利于制造商或程序增补人员用于开发深度神经网络原型或进行调整。其次是电源效率的问题。 El－Ouazzane指出，Movidius的解决方案可让神经网络在边缘运算时旳功耗小于2瓦（W）。

然后，还有成本的考虑。 El－Ouazzane说：我认为这是一个杀手级因素。 Movidius Neural Compute Stick要价79美元，可望让神经网络的发展变得超级普遍。 他预期开发人员能使用Movidius的神经运算平台（Neural Compute Platform）应用程序编程接口（API），将经过训练的Caffe、前馈卷积神经网络（CNN）输入工具套件中，并进行配置，然后编译成一种可用于嵌入式部署的调整版本。
      （责任编辑：fqj）