人工智能落地最后一公里，需解决这一痛点！

都说人工智能落地难。难在哪里？

“目前的平台框架，不管是TensorFlow或是其他，都无法做到对不同的芯片实现全部支持，因此做算法、做方案的公司，在解决最后1公里的落地问题时，甚至需要把前面99公里的东西都再学一遍，因此增加了很大的工作量，造成了落地困难。”Arm中国生态发展副总裁/OPEN AI LAB创始人兼CEO金勇斌表示。

如何扭转这一局面？需实现从芯片、算法到解决方案全部打通，使后端设计人员无需关注底层的差异——这是Arm“周易”平台希望带来的改变。

IoT设备实现人工智能是必然趋势

软银孙正义曾提出，2035年全球将有万亿级IoT设备在线。在这些设备上实现本地人工智能，是未来的必然趋势。要做到这一点，必须进一步将降低人工智能的算力成本。Arm“周易”平台，主打适用性、兼容性、安全性，希望大幅降低人工智能算力、芯片和应用成本、加快应用研发周期，在更多的IoT设备上实现人工智能。“AI要想普及化，必须实现85%以上的智能化都在终端实现。”金勇斌表示。

让端侧芯片集成AI能力更容易

“周易”平台的核心包含两部分，一是Tengine软件框架，二是AIPU（人工智能处理单元），主要处理卷积神经网络、深度神经网络为代表的AI计算。

图 1 ，人工智能平台“周易”

从优化端侧芯片开发的角度看，“周易”平台降低了两个门槛：一方面是SoC集成AI功能的设计门槛，另一方面是上层软件的开发门槛。

金勇斌强调，之所以叫AIPU而不是AI Chip，主要因为它只是SoC中的一个处理单元，像传统的CPU、GPU一样，只是功能有所不同，能够实现终端SoC的高度集成化，实现灵活性和高效率的平衡。

图2，周易人工智能处理单元AIPU

对于已有的芯片，“周易”平台可以通过Tengine软件框架，进行统一推理，通过定义标准的Tengine API，人工智能应用程序可以使用标准API在不同的硬件上部署，大大节省了移植或者在特定的硬件上进行优化的工作量。

而对于新开发的芯片，“周易”平台可以让芯片合作伙伴使用AIPU IP设计新的SoC，并提供了验证测试向量、参考用例和后端实现参考流程等全面支持，以加速新的SoC设计；同时，周易AIPU 仿真软件用于软件应用程序前期开发。这将大大加快产品的上市时间。

当芯片设计出来后，周易Tengine软件框架内包含不同的library，包括Arm全球library，OPEN AI LAB library等。通过这些高性能的library，可以对不同算力做分布和调度。而在上层支持不同的主流算法，比如Caffe、PyTorch等。基于这些框架开发出来的算法可以无缝地应用在Tengine上。

如何赋能现有AI产业？

“在2020年之前，谁的软件最好用，谁就能真正掌控市场”，金勇斌表示，“只要软件工具好用，就能够帮助下游合作伙伴迅速开发产品，抢占落地先机。”也正是如此，Arm提供整套完整的工具链，从IP开发到软件开发，其中包括编译器、性能优化库等。对芯片厂商来说，可以通过其中包含的仿真器和算法示例等来帮助软件开发。因此，“周易”AI处理引擎对用户来说相当于是一键式开发服务，可以把他们想实现的算法一键式地部署到“周易”上。

图3，“一键式”软件工具链

芯片公司不必专门开发基于AIPU的专用AI芯片，或是包含AIPU单元的芯片。哪怕是基于现有的成熟芯片，通过Tengine把算力提取出来，可以直接实现更多现成的算法，能够大幅度提高性能，改善用户体验。如下图所示，可以带来顺流而下的改变，“在上游把一个根本问题解决了，下游的普及速度就会非常快。”金勇斌说道。

图4，Tengine赋能产业链上下游

“周易”平台作为Arm中国首款自主研发产品，在去年11月的世界互联网大会上首次亮相。半年过去了，这款产品取得了哪些实质性的进展？

据了解，一些基于“周易”平台Tengine的使用场景已经落地。比如行车记录、智能停车、ADAS等，包括对司机的行为检测。另外还有一个重要的应用就是安防，比如人脸识别的门禁和闸机。以前需要把采集的人脸数据交由后端服务器处理，而现在通过Tengine，无需硬件改动，可自动在前端进行人脸识别，只需将匹配结果上传。这样极大地降低了网络的部署成本，数据流量实现了指数级减小。根据一个做前端人脸布控系统的用户案例，布一点一线综合成本需要一万八，而基于“周易”成本基本控制在了两千元以内，整体成本几乎实现了十倍节省。据透露，最快明年年中会有基于“周易”AIPU的SoC产品问世。

AI生态需要交叉合作、竞争

金勇斌作为Arm中国生态发展副总裁，同时也是OPEN AI LAB创始人兼CEO。谈及AI目前的生态建设时，他表示，很多AI公司处理器、框架、应用等都是自己垂直在做，这样的做法有点像IBM早期做PC的模式，独立开发处理器、指令集、芯片、设备、应用、系统等。而为什么微软的Windows就能够非常普及？主要因为它开放给第三方做应用程序，这样就形成了巨大的生态。他认为，AIoT时代也一样，一家公司从沙子做到云的模式一定是行不通的，AI生态需要在每个层级上进行交叉合作、竞争，这样才能够把成本降下来，把普及率提高，把渗透性做好，这样才能尽早实现未来的1万亿市场。

也许这是AI创业最好的时代。大量涌入的资本，加之强大的平台支持，值得创业者能够更加快速地开发出SoC芯片。但是，即使芯片开发的门槛有所降低，芯片开发一定要谨慎，并且要在设计之初做好产品规划、明确市场应用空间，否则，最终还是难免惨遭淘汰。