移动设备部署机器学习，Arm谈如何赋能移动AI

如今生成式AI带火了整个AI产业，尤其是各大厂商扎堆于大模型的AI训练，不过很多AI应用的落地则在边缘端。换句话说，移动设备的AI如何实现，是非常关键的问题。Arm前不久推出了全新的2023 全面计算解决方案 (TCS23)持续引领这样的应用趋势。在最近，Arm高级副总裁兼终端事业部总经理Chris Bergey接受媒体采访，分享了Arm对移动AI发展的看法以及Arm如何赋能等话题。

Arm成立于1990年，是由Acorn Computers、苹果和VLSI Technology这三家公司共同成立的一家合资企业，从一开始就聚焦于高能效的计算，致力于未来的移动发展和演进，最早采用Arm技术的是 Apple Newton，自此移动已经发生了翻天覆地的变化，这也使得Arm架构成为当今全球应用最广泛的移动计算平台基础架构。

今天，全球已有 70% 的人群正使用基于Arm架构的产品和服务。 迄今为止，Arm的合作伙伴已经交付了超过 2500 亿颗基于 Arm架构的芯片。

TCS23助力移动AI克服应用挑战

在Arm 2023全面计算解决方案(TCS23)中，全新Armv9 Cortex计算集群已连续三年实现两位数的性能提升。其中，新的 Cortex-X4 是第四代 Cortex-X 内核，是 Arm迄今为止打造的最快速的 CPU，与 Cortex-X3 相比，其性能提高 15%，基于相同工艺的全新高能效微架构可降低功耗达 40%。

在我们此前的报道中也介绍过，TCS23方案在GPU、总线、DSU等都实现了性能和能效的大幅提升。值得一提的是，正是因为全面计算性能的提升，才能够更好地支持移动设备的AI应用，实际上很多AI的运算都需要CPU或者GPU的配合才可以更好地实现。

在谈到移动AI体验需要克服哪些挑战时，Chris Bergey分析说主要有三方面。即如何实现高能效计算，内存带宽以及如何高效支持AI 的软件栈。在过去的两年，Arm处理器和 GPU 的性能提升让 AI处理能力翻了一番，这主要是通过对 AI 专用的数据集的指令优化与支持。



在内存带宽方面，Arm大幅增加了在支持架构中的缓存大小，并且通过缩小芯片的面积来减少延迟、强化互联。

多年来，Arm倾力打造了繁荣的软件生态系统，基于 Arm 架构、为Arm 架构应用进行开发的开发者已达到1500万名。通过持续与行业领先厂商，比如，谷歌、腾讯等公司进行合作，共同赋能高效的技术库，藉由开源形式，让这些软件技术库能触及更广泛的生态系统，特别是国内垂直领域的一些公司，可以获得收益。这一生态系统为更广泛的社区提供平台，可以通过基于Arm 的硬件一起打造AI 解决方案。

移动设备部署机器学习越来越广泛

手机上部署的机器学习往往应用于AI边缘推理，比如手机的面部识别、图像增强、滤镜、AR 等等，都是AI 推理应用在终端上的体现。正如Chris Bergey所言，一些大型的模型训练会在云端进行，但是出于功率、隐私保护和延迟等多方面的考量，更多的AI 应用和训练都将在数据存在之处进行，也就是传感器获取数据的地方。



AI 和传感器结合可以发挥非常强大的作用。例如，摄像头+AI通过观察用户走路或者说话的行为在早期预判未来可能出现的疾病。

再比如，从智能手机（Google Pixel 7的实时字幕、虚拟助手）到家用自动化设备，包括AmazonEcho的语音助手、集成 AI 功能的冰箱等，既能实现智能化，又可达到节能目标，另外还有应用于智慧城市的交通管理，可以减少交通拥堵，让整个城市更加安全，降低更多能耗。

与中国厂商保持生态系统的共建

Chris Bergey认为，随着处理器性能的越发提升，更多类似的应用会应运而生，而中国则是产生下一代应用最具有创新性的地方。因此Arm一直与中国的生态系统保持紧密的合作。

据介绍，在人才培养方面，Arm与很多大学以及行业、合作伙伴主导的一些产业联盟等机构合作，开展了很多人才联合培养的项目，比如2023 年的AICAS 挑战赛、开源之夏、百度飞桨黑客松。

Arm还参与了很多本地的开源社区和项目，比如TARS 项目和龙蜥社区 (OpenAnolis)等，通过自身参与全球开源社区的专业知识，推动本土的生态系统。

此外，还将一些全球的技术进行本地化，让中国的生态系统更易于采用。比如把Arm虚拟硬件(Arm Virtual Hardware, AVH)整合到百度飞桨的PaddlePaddle模型中。

Arm不断赋能本地的创新能力。就在MWC上海展期间，Arm宣布与联想合作成立在中国第一个5G 解决方案实验室；并与本土电信运营商等生态系统合作伙伴一起开展 PoC 项目。

小结：

作为全球领先的IP提供商，Arm已经看到智能计算在边缘端势不可挡的应用趋势，Arm 2023全面计算解决方案(TCS23)已经前瞻性地以高性能助推AI应用的普及，令更多AI 的应用成功高效运行在Arm架构之上。