Google Gemma优化后可在NVIDIA GPU上运行

借助 TensorRT-LLM，Google 全新开放语言模型可在 NVIDIA AI 平台（包括本地 RTX AI PC）上加速运行。

2024 年 2 月 21 日，NVIDIA 携手 Google 在所有 NVIDIA AI 平台上发布面向 Gemma 的优化功能，Gemma 是 Google 最先进的新型轻量级 2B 和 7B 开放语言模型，可在任何地方运行，从而降低成本并加快特定领域用户案例的创新工作。

NVIDIA 和 Google 的团队紧密合作，利用 NVIDIA TensorRT-LLM（用于优化大语言模型推理性能的开源库），在数据中心的 NVIDIA GPU、云计算和搭载 NVIDIA RTX GPU 的 PC 上运行时，加速 Gemma 性能（Gemma 由创建 Gemini 模型的相同研究和技术构建）。

这使开发者能将全球高性能 AI PC 中超过 1 亿台搭载 NVIDIA RTX GPU 的用户作为潜在用户进行开发。

开发者还可在搭载 NVIDIA GPU 的云端运行 Gemma，该实例拥有 141GB HBM3e 显存，速度为 4.8TB/秒，Google 将于今年部署该实例。

此外，企业级开发者还可利用 NVIDIA 丰富的工具生态系统（包括依托 NeMo 框架的 NVIDIA AI Enterprise 和 TensorRT-LLM），对 Gemma 进行微调，并将优化后的模型部署到生产应用中。

审核编辑：刘清