摩尔线程吴庆详解 MUSA 软件栈：以技术创新释放 KUAE 集群潜能，引领 GPU 计算新高度

WAIC 2025前夕，在摩尔线程技术分享日上，摩尔线程GPU 计算软件开发总监吴庆，发表了题为《摩尔线程 MUSA 软件栈助力 KUAE 集群释放无限潜能》的演讲。他从专业视角出发，深入剖析了 MUSA 软件栈在驱动 KUAE 集群高效运转方面的核心技术与创新成果。

摩尔线程GPU 计算软件开发总监吴庆在WAIC 期间的技术分享 （来源：电子发烧友网拍摄）

一、MUSA 驱动和运行时库：KUAE 集群的坚实底座​

首先是驱动的重要性。在推理场景中，Kernel 延时如同悬在高效运算头上的 “达摩克利斯之剑”，对运算效率影响极大。而摩尔线程的 MUSA 驱动和运行时库就像是一位技艺精湛的调度大师，凭借自身高效的任务调度能力，将用户的 Kernel launch 开销大幅缩减，为 KUAE 集群筑牢了根基。

吴庆详细介绍，MUSA 实现即时任务下发，通过独特的软硬协同方式，将核函数启动延迟成功降低到业界平均水平的 1/2。打个比方，这就如同在酷热的仲夏，人们能够借助手机远程提前开启暴晒在户外车辆的空调，待上车时便能立刻享受清凉。MUSA 正是巧妙地将调度开销前置，在上一个 Kernel 执行尚未结束时，就提前有条不紊地完成下一个 Kernel 的配置，由此最大程度减少了 Kernel 间的调度延时，让运算衔接更加紧密流畅。​

在批量任务下发方面，吴庆表示，MUSA 将近千次的计算和通信任务下发开销巧妙优化为单次。他举例解释道，这类似于汽车座椅的一键记忆功能，驾驶者只需轻松操作一次，就能一次性打包调节好多个复杂步骤，后续使用时无需再重复繁琐操作。在实际应用中，这种优化带来的端到端收益因不同应用场景而有所差异，最高可达好几倍，极大节省了 GPU 的等待时间，提升了整体运算效率。

谈及引擎间依赖解析能力，吴庆强调，GPU 拥有多引擎可配置的特性，MUSA 借助硬件解析引擎间的依赖进行同步，这一创新之处在于无需再回到 host，从而使任务流之间的依赖解析延时大幅降低至 1.5μs，相较于业界头部算力卡表现更为出色。此外，吴庆还介绍了调优工具接口 MUPTI，它能够像贴心助手一般，帮助开发者深入优化 MUSA 应用程序；而 GPU 错误转存功能（GCD）则在程序遭遇出错情况时，迅速生成详细信息，大大提升了问题定位的效率，为程序稳定运行保驾护航。​

二、MUSA 算子库生态：性能与广度兼备​

吴庆在演讲中着重提到，算子库的效率在分布式集群的训练过程中扮演着关键角色，恰似汽车的引擎决定着汽车的动力表现。MUSA 算子库在研发过程中，始终秉持着追求极致性能的理念，同时兼顾覆盖广度和兼容性，致力于为用户提供丰富多元的选择。​

MUSA 算子库生态涵盖三大算子库。吴庆首先介绍了 muDNN，它堪称是开箱即用的标准算子库，功能十分全面，完整覆盖常见的前向和反向算子，对完整的 XMMA、Tensor Core 全精度及所有量化模式等均提供支持。在性能数据上，其矩阵乘算子效率可达 98%，Flash Attention 算子效率能达到 95%，这些数据远超行业平均水平，彰显出强大的运算实力。在讲解 FP8 GEMM 算子效率时，吴庆形象地比喻道，Per-Tensor scale 如同整面墙刷一种颜色，操作过程简单直接；而 Per-Block scale 则像给墙上的小方块刷不同颜色，复杂度明显更高。但摩尔线程通过深度的软硬协同优化，成功使 Per-Block 与 Per-Tensor FP8 GEMM 计算效率差距控制在不到 2%，极大提升了复杂场景下的运算性能。​

接着，吴庆介绍了 MUTLASS，它作为高性能线性代数模板库，已经在 Github 开源。MUTLASS 支持平湖架构所有特性，并且贴心地提供 Attention 最优化示例，这一举措极大降低了用户自定义算子的开发工作量，让开发者能够更便捷地进行相关开发工作。最后，吴庆透露，即将发布的 MUSA AI Tensor Engine 是面向大语言模型的开源推理算子库，它提供友好的 Python API，未来还将支持丰富后端，能够助力开发者快速搭建自定义推理引擎，为大语言模型领域的开发工作带来更多便利与可能。​

三、高性能通信技术：避免通信抢占计算核心资源​

在大模型分布式训练领域，通信问题一直是制约发展的主要瓶颈，犹如交通拥堵阻碍城市高效运转。吴庆在演讲中指出，摩尔线程在 MTT S5000 上支持 MTLINK 2.0，并创新性地配备 GPU 异步通信引擎，成功实现了通信技术与计算的高度并行，为解决这一瓶颈问题提供了有效方案。

图：摩尔线程的异步通信引擎技术支持通过MTLink进行C2C数据通信

吴庆回顾道，早在之前，摩尔线程的技术团队就敏锐洞察到通信与计算抢占 SM 计算单元这一行业痛点，经过深入研究与技术攻关，最终在 GPU 上成功增加了异步通信引擎。以 MTT S5000 服务器为例，每节点配备 8 张 GPU，通过 MTLINK 2.0 实现全互连，每张 GPU 与其他 7 张 GPU 直连。并且，每个 GPU 的异步通信引擎原生支持多种 reduce 操作和数据类型，还能借助 Zero Copy 技术避免本地 D2D 拷贝，直接进行跨卡通信，大大提升了通信效率。​

在通信性能方面，吴庆详细列举了相关数据。基于全互联（FC8）拓扑的高效通信算法，在单机 8 卡 All Reduce 场景中，将延迟从 Ring 算法的 53us 大幅降至 7.8us，缩减近 1/7；带宽方面，单机 8 卡 All Reduce 带宽利用率接近 85%，跨节点通信中，All Reduce 带宽达 194GB/s，RDMA 通信带宽利用率更是高达 97%。不仅如此，异步通信引擎的通信优化将通信部分巧妙卸载到单独引擎，不占用 MPC 计算资源，在无数据依赖时能够实现完全 overlap。吴庆特别提到，结合 MT Transformer Engine，这一优化使 Llama 模型端到端计算通信性能提升约 10%，切实为大模型分布式训练的高效运行提供了有力支撑。​

四、展望未来：首届MUSA开发者大会即将启幕

分享日最后，摩尔线程还宣布将于今年10月举办首届MUSA开发者大会，进一步推动国产GPU生态建设。从芯片架构到集群系统，从技术突破到行业落地，摩尔线程正以“AI工厂”为蓝图，引领国产算力基础设施迈向AGI时代的新高度。（完）