高通NPU和异构计算提升生成式AI性能

生成式AI的变革已悄然降临。面对生成式AI的多元化用例需求和复杂的计算需求，我们亟待拥有专为AI打造的新型计算架构。为此，需要具备新型神经网络处理器（NPU）和中央处理器 （CPU）/图形处理器（GPU）等多核处理器的整合能力。通过配备专用的NPU并合理运用各类处理器资源，异构计算可以带来更出色的性能、更高的能效及持续耐久的电池寿命。

处理器的选择就像工具箱里寻找恰当工具，它会极大程度地提升生成式AI体验。

异构计算的重要性不可忽视。根据生成式AI的独特需求和计算负担，需要配备不同的处理器，如专注于AI工作负载的定制设计的NPU、CPU和GPU。每种处理器都有其独特的优点：CPU擅长有序操作和实时响应；GPU擅长并行数据流处理；NPU则专长于标量、向量和张量数学运算，成为核心AI工作负载的首选。这种异构计算策略有助于实现最佳的应用性能、能效和电池寿命，从而缔造出精美的生成式AI用户体验。

截至目前，专为NPU精心研制的NPU技术正随着AI应用场景和模型的演变而不断升级。

到底什么才是神经网络处理器NPU呢？NPU的使命便是以低功耗的方式加速AI推论，因此其架构亦需随着新的AI算法、模型和应用选择而有所升级调整。其主要任务是处理包含了标量、向量和张量数学在内的神经网络层计算以及非线性激活函数。一款优质的NPU需能精确处理相关AI工作负载，以便在目前的AI产业趋势下保持竞争力。

高通公司的第三代人工智能引擎（AI Engine）包含了先进的麻省理工学院授权的Kumu深度学习软件、Hexagon NPU，以及Vulcan向量处理引擎。

在AI行业，高通对异构计算的研究与投入堪称翘楚。其领先的骁龙850移动计算平台采用了全新的高通Hexagon 690 NPU，汇聚 AI Engine和Adreno 640/630 GPU的强大处理能力，实现了AI性能的大幅跃升。此外，这套AI Engine还囊括了先进的Vulkan向量处理引擎以及更为全面的高通传感器中枢和内存子系统等芯端部件。这些部件在终端侧共同协作，为用户提供极速有效的AI应用执行环境。

实践证明，采用骁龙850移动计算平台的设备在AI基准测评和实际生成式AI应用方面均表现出色，硕果累累。

为了更好地赋能开发者，高通推出了自家的AI软件栈（ Qualcomm AI Stack）。利用这个工具包，开发者只需要编写一次代码，就能任意地点进行应用开发和适应性扩容。

通过将技术领导力、定制芯片设计、全栈AI优化和生态系统赋能充分结合，高通技术公司在推动终端侧生成式AI开发和应用方面独树一帜。高通技术公司正在赋能终端侧生成式AI的规模化扩展。