AMD两大高性能 AI 芯片正式出货，剑指英伟达 H100

电子发烧友网报道（文/周凯扬）近日 AMD 举办了Advancing AI大会，除了发布全新的锐龙 8040系列 AI PC 芯片以外，也终于宣布了 MI300X GPU以及 MI300A APU这两大 AI 计算重磅新品的出货。

顶级 AI 计算 GPU MI300X

作为全新 CDNA3架构打造的 AI 加速器，MI300X 的配置可谓豪华，8 组 XCD 共 304 个 CDNA 单元，加上带宽高达 5.3TB/s 的 192GB显存。相对上一代 MI250X 而言，计算单元多了接近 40%，内存容量增至 1.5 倍，理论带宽更是提升至 1.7 倍，同时引入了对 FP8和稀疏计算的支持。

AMD 也在实际用例上与英伟达的 H100 进行了对比，在运行 1760亿参数的 BLOOM 大语言模型推理时，其吞吐量可达后者的 1.6 倍。且单块 MI300X就能运行像 Llama2 这样 700 亿参数的大模型，简化了企业级 LLM 部署的同时，提供了极致的 TCO 性价比。

首个数据中心 APU 出炉

随着英伟达开始针对数据中心推出 Grace Hopper Superchip 这样的 CPU+GPU 打包方案，AMD 这个早在消费级产品上这么干的公司自然也察觉到了个中机遇。于是在本次大会上，AMD 终于宣布首个数据中心 APU，MI300A开始出货。

在 3D 封装技术和 AMD Infinity 架构的支持下，MI300A将 CDNA 3架构的 GPU 核心、Zen 4 架构的 CPU 核心以及 128GB 的 HBM3 内存集成在一起。同样是与 MI250X相比，其在HPC和 AI 负载的 FP32计算上，能耗比近乎翻倍。

得益于统一的内存和缓存，CPU、GPU 与 HBM 之间的数据传输延迟大大降低，且均可享受超大的带宽，无论是在极限性能还是在功耗分配上，都能提供好于独立方案的表现。

软件同样迎来大幅升级

而此次 Advancing AI大会上，AMD不仅对硬件进行了更新，也对其软件进行了更新，RoCm 这一并行计算框架迎来了第六版，这一版本主要对 AMD 的 Instinct 系列 GPU在生成式 AI 的大语言模型上进行了优化。

作为 AMD 对英伟达的 CUDA 做出的对策方案，ROCm这几年来已经逐步完善，甚至可以说在开发支持程度上毫不逊色于 CUDA。此次更新不仅增加对新数据类型的支持，还引入了高级图形和内核优化、库优化以及最先进的注意力机制算法。以文本生成这一任务为例，与在 MI250 上运行的 ROCm 5 相比，性能提升显著，总体延迟改善了 8 倍左右。

更重要的是，这次 OpenAI 也来掺了一脚，OpenAI 宣布他们会在 Triton 3.0 上加入对 AMD Instinct 的支持。Triton是一个类Python 的开源编程语言，允许开发者在没有 CUDA 开发经验的情况下也能写出高效的 GPU 代码，可以视为 CUDA 的精简版。而在最新的Triton 3.0，可以说 AMD 的Instinct硬件平台获得了开箱即用的支持。

其实这次合作早有预示，几个月前Triton就开始合并 ROCm 的代码，此前也宣布过增加AMD Instinct以及英特尔XPU 的支持。不过目前 Instinct平台的ROCm 还是以 Linux 开发为重点，Radeon 平台的ROCm 则主要集中在对 Windows 的支持上。

写在最后

这次Advancing AI大会象征了 AMD 对 明年 AI 市场的野心，也难怪 AMD 会将今年数据中心 AI 芯片的市场规模从 6 月份的 300 亿美元提高至 450 亿美元。未来的MI300X很有可能成为英伟达 H100 最强劲的对手，也有可能成为云服务厂商竞相追逐的新计算卡。