如何用FPGA来实现机器学习的应用

（文章来源：edn）

越来越多的辅助驾驶、无人机、虚拟现实/增强现实、医学诊断、工业视觉等应用，为了追逐更高性能/差异化，纷纷对机器学习产生浓厚的兴趣。

已有几家初创企业在开发专门的机器学习芯片，但上述这些应用不仅仅要集成机器学习，还有计算机视觉，传感器融合和连接。如果要开发这么一整套独特的性能组合，可能要花费几亿美元才能推出第一款芯片，而且从各种规格的确定落实到推出样片，可能需要三年以上。

更别提这三年过程当中还有一个挑战：那就是神经网络、算法和传感器等都还是处于不断演化的过程，一款固定的、标准的设计平台面对这些风云变幻的演进根本无力招架。此时此刻，FPGA技术成为数百家嵌入式视觉企业开发的首选，其中用于机器学习领域的已经超过40家。

那么问题来了，面对市场上最热门的人工智能CPU/GPU芯片，全可编程方案的优缺点是什么？产量达到多少以后就不再合适？赛灵思有一个公开的性能对比：针对 Zynq SoC 的 reVISION堆栈与 Nvidia Tegra X1 进行基准对比，得出下图这个惊人的数据： reVISION 堆栈在机器学习方面单位功耗图像捕获速度提升 6 倍，在计算机视觉处理的帧速率提升 42 倍，时延仅为 1/5（以毫秒为单位），这些对实时应用而言都是至关重要的。

既然和竞争对手做对比，一定是在相同价格的芯片之上做的一些性能对比。在接到EDN记者的疑问后，赛灵思嵌入式视觉和SDSoC高级产品经理Nick Ni用详细数据解答了此疑问。“像机器学习的6倍的图像/秒/瓦是用谷歌来做编程。比如Xilinx我们使用ZU9可以达到370，我们的功率达到7W，我们使用一样的GoogleNet，我们可以看到Nvidia已经在公开他们最好的数据，所以我们就用他们这些数字，所以就算出来6X。”Ni指出。

“我们能够帮助客户来优化他们的数据流，从传感器到视觉处理，再到机器学习推断，一直到控制系统。另外我们也通过先预置的硬件，再加上可以编程的软件，为客户提供前所未有的灵活性。”Glaser表示，这也就意味着，在不实质性改变硬件、包括板和芯片的情况下，客户就能够升级优化到最新的神经网络、算法以及传感器的类型配置。

reVISION堆栈包含一些基础的平台，可以支持算法的开发，而且它带有非常符合行业标准的库和元素，针对于计算机、视觉以及机器学习都是非常重要的，这些框架包括在机器学习领域的Caffe，以及在计算机视觉领域就是OpenVX。在GPU体系中，有一大群开发者不断提供优秀的设计，实现良性循环，例如NVidia推出的运算平台CUDA，包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。

“reVISION可以简单地实现一个工程，直接把一个Caffe训练好的神经网络模型部署到Zynq里。Zynq本身已经包括了优化的硬件，可以满足神经网络的计算需求。如果需要定制自己的神经网络，只要把Caffe模型输入到Zynq即可马上跑起来。从开发角度讲，Zynq特别像CUDA，可以直接釆用GPU或CPU训练好的神经网络。”

现在reVISION堆栈有大量符合行业标准的库和框架，开发时间可以大大压缩，专门针对那些并没有硬件方面专业知识的嵌入式软件或者系统级工程师。传统的模式中，赛灵思提供芯片以及开发环境当中20%的解决方案，剩下的80%要由客户来完成。“有了这个reVISION堆栈以后，赛灵思能够完成解决方案当中80%的工作，剩下的客户只要完成20%。”Glaser表示。

关键的一点不能漏：reVISION是免费的，赛灵思说自己只赚芯片钱。成本，多大的量需要寻求替代性方案？最后，人工智能的硬件生态目前还没确定，从公司角度出发，抢占市场先机和获得成本优势同样重要。几年前推出Zynq的时候，其低端的版本大批量应用差不多是15美元以下，现在甚至有了更低端的单核版本，与高端产品4核及7核的异构多处理器MPSoC并存，“现在我们有从10美元到几十美元的组合。”Glaser指出。

虽然达不到几千万或数亿那么高的量，由于不再是FPGA了，而是混合的SoC，带有可以编程的逻辑和IO，所以在量方面已经建立了一个非常强大的成本优化的产品组合，能够提供非常好的量化的性价比。

“我们关注那些数量级在几百万的应用。一旦有一些应用实现了商业化，达到了几千万甚至是几亿的数量级，就会有别的更低成本的方案进来。”Glaser指出，赛灵思关注的只是几百万的数量级追求差异化的应用，而不是“够用就好”的批量数千万的商业化应用