d-Matrix与Andes晶心科技合作打造下一代AI推理加速器

数据中心生成式 AI 推理计算的先驱 d-Matrix，以及高效率、低功耗 RISC-V 处理器核心的领先供应商、RISC-V 国际协会的创始首席会员 Andes 晶心科技 (Andes Technology，TWSE: 6533; SIN: US03420C2089; ISIN: US03420C1099)，今日共同宣布 d-Matrix 已选择 AndesCore AX46MPV 作为其下一代 Raptor 推理架构的处理器。本次合作代表着针对数据中心规模的 AI计算工作，以存储为中心的计算 (memory-centric computing) 与开放标准处理器创新技术的融合。

正在开发中的 Raptor 加速器，将是首款采用 d-Matrix 革命性 3D 存内计算 (3DIMC) 技术的芯片。3DIMC 是一种高效的小芯片 (chiplet-based) 方案，也是全球首个用于规模化 AI 推理的 3D DRAM 解决方案。它将计算单元和存储单元堆叠在一起，能将数据移动的能耗和延迟降低到1/10，从而解决了限制传统 AI 推理系统的存储器瓶颈问题。

Andes 晶心科技的 AX46MPV 既是调度引擎，也是向量计算引擎，负责管理 Raptor 高带宽计算架构中的工作负载分配、存储器协调和运行控制，同时还分担了诸如激活函数等计算任务。

d-Matrix 创始人兼首席执行官 Sid Sheth 表示：「Raptor 的创新设计，正在将推理效率和可扩展性推向远超传统架构所能达到的水平。AX46MPV 的 RISC-V 架构为我们的 3DIMC 方法提供了理想的 CPU，使我们能够以前所未有的每瓦性能交付数据中心规模的推理。」

Andes 晶心科技董事长兼首席执行官 林志明 表示：「我们与 d-Matrix 的合作，展示了 RISC-V 如何赋能真正的数据中心级推理系统。通过将 d-Matrix 开创性的 3D 存内计算与Andes 晶心科技先进的 RISC-V 向量 CPU 相结合，我们正在将下一代生成式 AI 推理变为现实。」

本次合作标志着 RISC-V 进军大规模 AI 推理领域的又一个里程碑。它将Andes 晶心科技成熟的 CPU IP 和软件生态系统，与 d-Matrix 创新的小芯片式 3DIMC 架构完美结合。两家公司正共同重新定义规模化生成式 AI 部署的每瓦性能和总拥有成本 (TCO)。

技术亮点

AX46MPV 是一款基于开放标准 RISC-V 指令集架构的 64 位、支持 Linux 的多核 CPU IP。其亮点包括：

配备高达 2048 比特 (bit) 的向量处理单元 (RVV 1.0)，在归约求和 (reduction sum) 方面具有显著性能提升。

双加载/存储单元，可用于标量/向量加载和存储的任意组合。

高带宽向量存储器 (HVM)，能够处理乱序 (out-of-order) 的数据返回。

支持多个未完成总线请求。

这些特性共同提供了数据中心级推理系统所需的性能余裕和软件灵活性。针对 Transformer 和大型语言模型工作负载的核心参考内核(Reference kernels)显示，相较于前代处理器 AX45MPV，性能提升高达 2.3 倍。

关于 d-Matrix

d-Matrix 正在开创 AI 推理的加速计算，突破延迟、成本和能耗的限制。其 Corsair 加速器、JetStream 网络和 Aviator 软件，为数据中心规模带来了快速、可持续的 AI 推理。

关于Andes 晶心科技

Andes晶心科技股份有限公司于2005年成立于新竹科学园区，2017年于台湾证交所上市 (TWSE: 6533; SIN: US03420C2089; ISIN: US03420C1099)。Andes晶心是RISC-V国际协会的创始首席会员，也是第一家推出商用RISC-V向量处理器的主流CPU供货商。为满足当今电子设备的严格要求， Andes晶心提供可配置性高的32/64位高效能CPU核，包含DSP、FPU、Vector、超纯量(Superscalar)、乱序执行(Out-of-Order)、多核及车用系列，可应用于各式SoC与应用场景。Andes晶心提供功能齐全的整合开发环境和全面的软/硬件解决方案，可帮助客户在短时间内创新其SoC设计。截至2024年底，Andes-Embedded SoC累计出货量已超过170亿颗。