Arm成功将Arm KleidiAI软件库集成到腾讯自研的Angel 机器学习框架

Arm 与腾讯携手合作，成功将 Arm KleidiAI 软件库集成到腾讯自研的 Angel 机器学习框架。

借助 KleidiAI 解锁卓越性能、能效和可移植性，腾讯混元大模型能够实现更快、更高效的 AI 性能，显著提升应用功能和用户体验，并加速未来 CPU 架构的创新与集成。

在 Arm Tech Symposia 深圳年度技术盛会上，Arm 宣布与腾讯合作，成功将 Arm KleidiAI 技术融入腾讯混元自研的 Angel 机器学习框架。这一合作旨在提高移动端人工智能 (AI) 服务的推理性能和效率，为用户提供卓越的端侧 AI 体验。此项技术成果首先落地腾讯旗下的多款应用，预计将惠及腾讯的庞大的用户群体，为他们带来更优质的使用体验。

Angel 机器学习框架的作用

Angel 机器学习框架支持腾讯混元大模型 (LLM)，该通用 AI 模型拥有万亿参数，并在超过 7 万亿个词元 (token) 的语料库中进行训练。混元大模型以其强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力，而广受赞誉。该模型已部署于腾讯旗下包括企业微信、QQ 浏览器和和搜狗输入法在内的 700 款应用中。

与此同时，为了满足不断增长的市场需求，并顺应行业发展趋势，腾讯混元大模型推出了更小的参数规模版本，包括 7B、3B、2B 和 1B 版本，并已部署在智能手机、Windows on Arm PC 等消费类设备上。腾讯混元大模型所具备的灵活性使其 AI 功能可以在各种设备上取得，同时提供了一致的性能和用户体验。

AI 性能的显著提升

Arm Kleidi 集成了最新的开发者赋能技术和软件库，如 Arm KleidiAI。Arm 致力于将 KleidiAI 直接集成到主流的框架中，让开发者能够自动获取最佳性能，以加速运行于 Arm Cortex-A 和 Neoverse CPU 上的 AI 工作负载。KleidiAI 的集成可帮助开发者加速开发进程，解锁 AI 性能，并在广泛应用的 Arm CPU 提供对未来功能的前向兼容，从而在端侧实现出色的 AI 体验。

KleidiAI 软件库的另一个优势是它们直接嵌入到框架中，而非仅限于特定硬件。这意味着它们带来的性能加速优势可以无缝迁移至不同的生态系统。这种可移植性使腾讯团队能够在包括 Android 和 Windows 在内的所有主流操作系统上测试 KleidiAI。因此，将 KleidiAI 集成至混元 Angel AI 框架中将能为跨操作系统的不同基于 Arm 的设备带来显著的性能提升。

具体来说，混元大模型的预填充部分加速了 100%，而解码器的速度提高了 10%。这些性能改善有助于实现更快、更高效的 AI 操作。

Arm 终端事业部产品管理副总裁 James McNiven 表示：在 AI 时代，为了最大化把握并拓展 AI 机遇，开发者需要最迅捷的 AI 部署方法及最适配其特定工作负载的最优性能。Arm KleidiAI 与腾讯 Angel 机器学习框架的集成彰显了赋能 AI 性能向前迈出了重要一步，与此同时提供优秀的能效表现，双方将发挥各自的优势，为腾讯众多应用场景提供卓越的 AI 体验。

腾讯机器学习平台部总经理，腾讯混元大模型负责人王迪表示：Angel 机器学习框架是我们大模型的技术基础之一，腾讯混元已经构建起了全链路的大模型矩阵和应用平台。同时，腾讯混元不断完善部署生态。我们期待通过集成 Arm KleidiAI 来加速 AI 大模型的创新，支持更多的混元产品矩阵，包括 FP16 加速和稀疏加速，为用户带来更加丰富和高效的端侧 AI 服务。