Arm Kleidi加速AI发展

作者：Arm 开发者平台副总裁 Geraint North

在持续快速发展的人工智能 (AI) 时代，我们坚定地支持全球数百万开发者，确保他们能够获得所需的性能、工具和软件库，从而顺利打造下一波令人惊叹的 AI 体验。

为此，我们推出了 Arm Kleidi，这是一项广泛的软件和软件社区参与计划，旨在加速 AI 发展。其中的第一个举措是推出面向热门 AI 框架的 Arm Kleidi 软件库。这使开发者可以直接取得 Arm CPU 的出色 AI 功能，而如今全球从云端到边缘侧的大多数 AI 推理工作负载都在这些 Arm CPU 上运行。开发者可以借助 Arm 超过 20 年的架构创新，从 Armv7 架构首次引入高级单指令多数据 (SIMD) 扩展以支持机器学习 (ML) 工作负载，到如今的 Armv9 架构在 Arm CPU 上囊括了加速和保护高级生成式 AI 工作负载的功能，这些创新持续推动 AI 能力和性能的提升。

Kleidi 软件库包含面向 AI 工作负载的 KleidiAI 和面向运行于 Arm CPU 上出色的计算机视觉工作负载的 KleidiCV。该软件库可以被直接嵌入到热门的 AI 框架中，开发者无需进行任何操作。如此一来，开发者可以轻松地启用 Arm CPU 的 AI 功能，从而快速构建 AI 应用，并在尽可能广泛的设备上实现最出色性能。

加速 AI 发展

为了应对设备类型、神经网络和推理引擎的爆发式增长，KleidiAI 是我们所给出的解决方案。它由一系列高度优化的 AI 内核组成，可在生成式 AI 等用例中实现高性能。KleidiAI 的优势在于，我们不会给开发者额外增加工作量，而是直接与领先的 AI 框架合作，包括 MediaPipe（通过 XNNPACK）、LLAMA.cpp、PyTorch（通过 ExecuTorch）和 TensorFlow Lite（通过 XNNPACK），以集成 KleidiAI。这不仅加快了开发流程，并释放了 AI 性能，为开发者提供了默认的高性能，使他们能够顺利地打造出色的 AI 体验。KleidiAI 还提供了前瞻性的兼容性，随着我们推出更多的技术，这将确保开发者能够充分利用未来 AI 加速机会。

KleidiAI 的集成已经为生成式 AI 工作负载带来了显著的性能提升。与参考实现方案（基于 llama.cpp，但不含我们的软件 Kleidi 优化）相比，在新的 Arm Cortex-X925 CPU 上，使用（集成了 KleidiAI 的）llama.cpp 的 Meta Llama 3 和微软 Phi-3 大语言模型 (LLM) 的词元 (Token) 首次响应时间加快了 190%。KleidiAI 非常易于集成，Arm 的工程团队只用不到 24 小时就测出了 Llama 3 的优化性能。此外，KleidiAI 还通过 XNNPACK 与 MediaPipe 集成，为在移动设备上运行的开源 Gemma LLM 提供支持。得益于此，Google Pixel 8 Pro 智能手机上 Gemma 2B 的词元首次响应时间缩短了 25%。

与此同时，我们正在与 Unity 合作开发 Sentis，这是一个端侧 AI 推理引擎，可让游戏开发者在所有支持 Unity 游戏引擎的设备上打造创新的 AI 游戏体验。在集成 KleidAI 后，Unity Sentis 成功启用了 int4 量化功能，将模型内存占用率降低了 72.5%，同时在运行 Phi-2 LLM 时性能提升了 660%。

加速计算机视觉发展

KleidiCV 能够加速许多摄像头用例中的计算机视觉管线。OpenCV 是全球最大的计算机视觉库，包含 2,500 多种算法，为数十万开发者提供支持。基于 KleidiCV 集成，OpenCV 发现各种图像处理任务的典型性能提升高达 75%。作为我们与 OpenCV 的战略软件合作关系[1]的一部分，我们还首次将安卓构建引入 Maven Central，这是一个面向 Java 开发的开源软件组件、软件库的资源库。

CPU 上的 AI 优势

Arm Kleidi 专注于加速 CPU 上的 AI 功能，因为在大多数情况下，所有 AI 工作负载都会从CPU 上开始运行。这使得 CPU 成为开发者在为其 AI 工作负载设定目标时的最便捷路径。因此，我们为开发者提供的这一路径性能越出色，他们就更有可能在开发过程中继续使用 CPU 并将其作为目标。此外，随着 LLM 变得更小更高效，越来越多的 AI 工作负载将适合在 CPU 上处理。最终，开发过程将变得更加顺畅、无缝，进而优化开发者的 AI 工作负载性能。

在 Arm 平台上构建 AI 的未来

Arm Kleidi 的推出再次突显了 Arm 作为端侧生成式 AI 计算平台的领先地位。它使开发者无需学习额外的工具和技能，就能够在非常广泛的硬件中获得 Arm CPU 的出色 AI 性能。随着我们不断创新，持续为新一代 AI 打造前沿架构，开发者未来将能够获得更强大、更先进的 AI 功能。对于最终用户来说，这意味着更快速、更智能、更具交互性、更沉浸式、更安全的出色 AI 体验。

Arm Kleidi 的推出只是一个开端，我们未来还计划推出更多软件库、计算内核和引擎集成。我们将持续在 Arm 平台上构建 AI 的未来。