Arm如何应对不同AI需求层次与发展路径？

近年来，随着越来越多的人工智能（AI）与机器学习（ML）成功案例出现，它们已经从一个相对模糊的计算机科学概念迅速发展成为实现智能化的必备技术。国际权威基金评级机构Morningstar预测，2021年全球AI芯片市场规模有可能超过200亿美元。2017年5月Grand View Research 的最新报告称，全球深度学习市场规模预计在2025年达到102亿美元。

机器学习算法和深度学习芯片组在取得不断突破的同时，AI也持续向不同垂直行业领域、边缘终端纵横渗透，从软/硬两方面实现降本增效及体验升级，而整个AI产业生态正在构建，新的秩序正在形成，市场玩家已远不止IT巨头与“独角兽们”，包括Arm在内的IP设计公司、通用或专用芯片公司、传统电子、通信巨头也纷纷开展自己的AI生态布局。

近日在Arm Tech Day上，Arm多部门的技术专家首次联手为业界阐述了Arm AI/ML发展观和最新战略布局。针对不同AI需求层次、发展路径、市场空白，Arm又会如何应对呢？

Arm机器学习事业部技术总监Ian Bratt在Arm Tech Day上发表演讲

“慢工出细活”，Arm稳步推进AI平台搭建

在智能化的行业大背景下，机器学习可以被应用于公司中每个岗位，并可能影响到各行各业各家公司，众多玩家纷纷涌入该领域。不过随着高速5G网络时代的到来，Arm机器学习事业部技术总监Ian Bratt认为， AI应用场景所要求的低时延与快速响应、将实时数据传输至云端的成本与出于对数据安全性的保护，机器学习正在由数据中心走向边缘设备，而在边缘端部署机器学习的关键并不在于某一款处理器，围绕的其实是更为宏观的生态系统。

Arm一直在扎实而积极地布局AI/ML领域，通过不断推出创新架构与高性能IP加强AI/ML的计算力。“2017年3月，Arm推出全新DynamIQ技术，代表了多核处理设计行业的转折点，其灵活多样性将重新定义更多类别设备的多核体验，覆盖从端到云的安全、通用平台，利用针对AI/ML的全新处理器指令集以实现更先进的人工智能；

2018年2月， Arm为了实现在边缘的AI/ML工作负载推出了Project Trillium项目，这是一套包括Arm ML处理器与OD（Object Detection）处理器在内的高度可扩展处理器的IP组合，能够在大量提升计算需求的同时，也保持出色的能效表现。后文要提到的ML处理器则是专门针对机器学习而重新设计的，它基于高度可扩展的Arm机器学习架构，并达到了机器学习应用场景要求的最高性能和效率；

2018年6月，Arm发布全新计算和多媒体IP套件，包括基于DynamIQ技术的Cortex-A76 CPU，Mali-G76 GPU与Mali-V76 VPU，对Arm Project Trillium项目完美补充，也将高性能计算力由移动端覆盖到笔记本端。”Arm市场营销资深总监Ian Smythe介绍了Arm针对不用层次、环节AI/ML需求的扎实创新节奏。

Arm全新计算和多媒体IP套件优化了AI/ML在设备端的使用

此外，有研究分析显示：目前中国AI开发者正在接受从封闭的单机系统转向快捷灵活的开源框架的新一代AI技术演进。而据悉，Arm Project Trillium绝不是要与现有的成熟神经网络开源框架（如Caffe、TensorFlow等）竞争。实质上，它依靠类似于Arm NN等神经网络机器学习软件桥接了现有神经网络框架与在嵌入式 Linux 平台上运行的底层处理硬件（例如 CPU、GPU 、Arm 机器学习处理器或合作伙伴IP），让开发人员继续使用他们首选的框架和工具，无缝转换结果后可在底层平台上运行，真正达到无处不在的机器学习应用。

Arm Project Trillium平台架构

“从0开始”设计ML处理器架构，Arm补全AI市场空白

虽然目前市场上几乎所有机器学习工作负载，利用针对机器学习应用优化的最新Cortex-A76处理器应对已完全没有问题，但Arm机器学习事业部技术总监Ian Bratt始终认为，机器学习作为一种全新的技术，如果想在该领域更进一步，比如获得更高的计算密度，Arm也必须要“从0开始”设计一个全新的处理器架构，从而实现未来最高效率、最高吞吐量且灵活的机器学习负载处理。

由于Arm在CPU和GPU处理器领域拥有世界领先的技术，因此Arm专用机器学习处理器在设计时很好结合了在CPU与GPU方面的领先技术，实现了高效的卷积、高效的数据移动与可编程性和灵活性，目标是能够在7nm制程工艺之下，实现3 TOPs/W的性能。据Ian Bratt介绍，Arm 第一代ML处理器设计的高峰吞吐量是每秒4.6 TOPs，同时有针对激活和权重专门的硬件压缩，利用了Cortex-M的技术来支持Android NNAPI和Arm NN计算节点。同时Arm也专门配置了一套开源软件堆栈实现在ML处理器上成功便捷的部署ML。

Arm ML专用处理器的几大特征

除了开发机器学习专用处理器外，Arm目标检测处理器目前也已经发展到了第二代，支持全高清、每秒60帧的实时处理。在与Arm其他处理器进行协同工作时，OD处理器能进行预处理，先甄别出来每帧画面上的关键要素，再传给其他的处理器去处理，大幅度降低其他处理器的工作量。目前第一代OD处理器已经成功用于英国Hive，以及中国海康威视的监控摄像头。

Arm NN神经网络SDK则铺平了个别神经网络框架在 Arm 架构核心上执行的道路，让开发者可以无障碍在 Arm 平台上执行主流 AI 应用。通过上述技术解决方案，Arm 补全了AI市场的空白，也足够应对几乎所有应用场景的AI/ML需求。

Arm NN SDK铺平了个别神经网络框架在Arm架构核心上执行的道路

不同的AI需求层次，Arm如何满足？

但是，AI与ML毕竟不能“开箱即用”，需要打下坚实的基础才能应用。正如AI “马斯洛”需求层次论认为，如果把AI/ML看作是需求金字塔的顶端，自我实现（AI/ML）非常棒，但首先需要食物、水和庇护所（数据素养、数据采集和基础设施）。

数据需要有牢靠的基础，然后才可以高效地运用AI和ML

（图片来源：hackernoon）

AI需求金字塔的底部基础是利用传感器进行数据采集，与未来万物互联时代Arm所预测的2035年将会有1万亿台互联设备一致，庞大的终端设备网将进行一手的数据采集。而如果把终端设备市场比作一个舞台，那Arm毫无疑问将是真正的幕后主导者，毕竟通过采用出售IP的经营模式，迄今为止Arm设计了全球95%的智能手机芯片架构。

而后Arm倾力打造的AI/ML平台（Project Trillium）则是高可扩展的，从低至2~20 GOPs，到高至70 TOPs的场景应用，都有相应产品支持。正因如此，Arm提供的机器学习能力也并不仅限于旗舰产品，通过支持各种硬件类型和可扩展性选项，从低成本智能手机到昂贵的服务器，各种产品均可受益。Arm始终认为，在做机器学习处理时，除了需要有完整的生态平台支持外，相较大数据厂商聚焦于云端AI，更要从小做起、聚焦边缘端的计算力，满足另一种AI/ML发展方向的需求。

坐享Arm顶级“朋友圈”，助推中国AI新势力崛起

众所周知，中国有着全球最多的数据量以及巨大的应用市场，在AI狂飙突进了三、四年之久后开始面临商业化落地的现实问题，众多公司也正围绕AI构建完善的产业生态链。在行业细分领域，AI结合医疗、自动驾驶、语音交互、通用或专用芯片等呈现出各种新业态。

虽然国外厂商在通用芯片领域占据了先发优势，云端训练领先国内，但国产品牌也在积极寻求从AI专用芯片及嵌入式领域实现突围的良机，AI通用技术公司开始向产业链上下游延伸，用整套解决方案深耕垂直领域。截至2018年5月8日，全国人工智能企业数量达到4040家，其中获得过风险投资的公司达1237家。

Arm China开放平台加速AI技术落地和应用部署

Arm正携手国内合作伙伴，精心耕耘中国市场，积极推动提升中国AI硬实力的国际竞争力，而Arm顶级“朋友圈”资源也将作为有力支撑。除了在技术创新方面专为AI设计的指令集扩展、专用AI加速硬件IP和配套的软件解决方案推出外，在生态创新方面，Arm积极与AI产业各个关键节点进行合作，力图打通从芯片、硬件方案、计算库、深度学习框架到应用的全产业链；在平台建设方面，Arm在国家政府和产业伙伴的支持下成立了Arm开放人工智能实验室（Open AI Lab）与Arm人工智能生态联盟（AIEC），致力于嵌入式人工智能技术的普及。在今年3月发布的《2017中国独角兽企业发展报告》中，AIEC联盟成员商汤科技、寒武纪科技、优必选科技等多家人工智能企业榜上有名，图像识别、智能语音、AI芯片成为主要创业方向。

“双引擎”加速AI/ML多场景落地

放眼万物互联迈向万物智能时代，智能终端不仅需要具备灵活性强、功耗低的特点，同时还要拥有快速的AI/ML处理能力，这就需要高能耗比硬件芯片与高效算法的完美协作。在这一大趋势下，Arm正扮演协跑者的角色，不断推出突破性能极限的处理器芯片与神经网络机器学习软件，在通用平台Project Trillium架构的指导下，“双引擎”加速AI/ML在多场景的落地，让全球AI领先开发技术和资源惠及中国，同时推动中国AI技术辐射全球。