SambaNova发布第五代RDU AI芯片，专为智能体推理工作负载设计

电子发烧友网报道，近期，美国人工智能硬件及软件研发公司SambaNova宣布推出其第五代RDU可重构数据流单元AI芯片SN50芯片，同时推出基于该芯片的SambaRack SN50风冷机架系统。SN50芯片专为智能体推理工作负载设计，具备超低延迟、高吞吐量和节能等突出特性，性能更是达到上代产品的5倍。在存储结构上，它采用大容量内存 + HBM + SRAM的三层次架构，极大优化了时延表现。

与英伟达的产品相比，SN50表现亮眼。在Llama 3.3 70B模型上，其最大速度是英伟达B200 GPU的5倍，智能体推理吞吐量是后者的三倍以上；对于OpenAI GPT-OSS-120B模型，能效可达B200的8倍。与SambaNova自身2024年推出的SN40L相比，SN50也有显著提升，提供2.5倍的16位浮点性能和5倍的FP8性能，分别达到1.6和3.2 petaFLOPS。

SambaNova标志性的三层内存架构在SN50上基本保持不变，该架构允许在几分之一秒内切换模型，并高效卸载键值缓存。每个RDU配备432MB片上SRAM、64GB HBM2E内存（带宽1.8TB/s）以及256GB到2TB的DDR5内存。尽管HBM2E的选择看似奇特，但SambaNova首席执行官Rodrigo Liang表示，这是为了在内存价格上涨时期确保顺利出货，避免陷入供应链争夺。

虽然SN50在纸面参数上与现代GPU相比不那么突出，仅提供英伟达Blackwell架构约64%的密集FP8计算能力、三分之一的HBM容量和不到四分之一的内存带宽，但SambaNova认为其数据流架构通过重叠计算和通信减少数据移动开销，能使用更少、功耗更低的加速器。

对于SN50，与英伟达的B200相比，它可提供高达5倍的每用户生成速度。而且，SambaNova的SN40L加速器已展现出强大实力，能以每秒378个token的速度提供大语言模型服务，比最接近的基于GPU的推理服务提供商快100多个token每秒。

在扩展性方面，SN50也表现出色。单个推理工作器可扩展到多达256个加速器，是英伟达NVL72机架中加速器数量的3.5倍以上。同时，为每个RDU配备了通过交换结构实现的2.2TB/s双向芯片间带宽，支持更大扩展域。不过，由于只有16个风冷RDU和每机架15 - 30千瓦的功耗，其芯片封装密度不算高。

目前，软银将率先在其位于日本的下一代AI数据中心部署SN50芯片。

SambaNova于2017年由甲骨文前高管Rodrigo Liang与斯坦福大学教授Kunle Olukotun等联合创立，总部位于硅谷帕罗奥图。公司主营全栈生成式AI平台及定制化芯片研发，核心技术包含可重构数据流单元（RDU）、DataScale机架级系统及SambaFlow编译器，通过神经网络图映射硬件技术提升AI模型训练效率。

SambaNova2018年获谷歌风投领投5600万美元首轮融资，2020年完成贝莱德领投的2.5亿美元C轮融资，2021年D轮融资后估值达51亿美元，累计融资超11亿美元。2023年推出台积电代工的SN40L芯片，支持5万亿参数模型运算，应用于阿贡国家实验室的药品研发与气象预测项目。其SambaNova套件已部署于ADI等企业，支持从数据中心到边缘计算的AI应用。

近期，SambaNova又成功融资3.5亿美元，旨在推进数据流架构技术，将其定位为基于GPU的AI系统的替代方案。这轮融资参与者包括英特尔资本等，打破了英特尔计划收购SambaNova的传言。英特尔将与SambaNova建立“多年期”合作关系，新RDU将使用至强处理器，双方还将开展硬件软件协同设计。

尽管英特尔在生成式AI领域因数据中心GPU和Gaudi产品线失误而落后，但此次与SambaNova的合作，或许能为其带来新的发展机遇，而SambaNova也将在资金与技术支持下，在AI芯片领域继续大步前行。