英伟达GTC25亮点：NVIDIA Dynamo开源库加速并扩展AI推理模型

NVIDIA Dynamo 提高了推理性能，同时降低了扩展测试时计算 (Scaling Test-Time Compute) 的成本；在 NVIDIA Blackwell 上的推理优化将 DeepSeek-R1 上的吞吐量提高了 30 倍

NVIDIA 发布了开源推理软件 NVIDIA Dynamo，旨在以高效率、低成本加速并扩展 AI 工厂中的 AI 推理模型。

作为 NVIDIA Triton 推理服务器的后续产品，NVIDIA Dynamo 是一款全新的 AI 推理服务软件，旨在为部署推理 AI 模型的 AI 工厂最大化其 token 收益。它协调并加速数千个 GPU 之间的推理通信，并使用分离服务将大语言模型 (LLM) 的处理阶段和生成阶段在不同 GPU 上分离开来。这使得每个阶段的特定需求可以进行单独优化，并确保更大程度地利用 GPU 资源。

NVIDIA Dynamo 完全开源并支持 PyTorch、SGLang、NVIDIA TensorRT-LLM 和 vLLM，使企业、初创公司和研究人员能够开发和优化在分离推理时部署 AI 模型的方法。

“全世界各行业都在训练 AI 模型以不同的方式进行思考和学习，从而使模型复杂度持续升级。” NVIDIA 创始人兼首席执行官黄仁勋表示，“为了实现自定义推理 AI 的未来，NVIDIA Dynamo 可以在这些模型上进行规模化部署，从而为 AI 工厂实现降本增效”。