NVIDIA推出加速物理AI开发的Cosmos世界基础模型

经数百万小时的驾驶和机器人视频数据训练的先进模型，可用于普及物理 AI 开发，并以开放模型许可形式提供。

NVIDIA Cosmos是一个用于加速物理 AI 开发的平台，推出了一系列世界基础模型——可以预测和生成虚拟环境未来状态的物理感知视频的神经网络，以帮助开发者构建新一代机器人和自动驾驶汽车（AV）。

如同大语言模型一样，世界基础模型（WFM）属于基础类模型。这类模型使用包括文本、图像、视频和运动在内的输入数据来生成和仿真虚拟世界，以准确模拟场景中物体的空间关系及其物理交互。

在 CES 大会上，NVIDIA 推出第一批 Cosmos 世界基础模型，用于基于物理的仿真和合成数据生成，配备先进的 tokenizer、护栏、加速数据处理和管理工作流，以及模型定制和优化框架。

无论公司规模大小，研究人员和开发者都可以根据 NVIDIA 允许商业使用的开放模型许可下，自由使用 Cosmos 模型。构建 AI 智能体的企业还可以使用在 CES 上推出的新开源 NVIDIA Llama Nemotron 和 Cosmos Nemotron 模型。

Cosmos 先进的开放模型能够帮助物理 AI 开发者解决障碍，无拘无束构建机器人和自动驾驶汽车技术，并使各种规模的企业能够更快地将其物理 AI 应用推向市场。开发者可以直接使用 Cosmos 模型生成基于物理学的合成数据，或利用 NVIDIA NeMo 框架，根据自己的视频对模型进行微调，以实现特定物理 AI 设置。

物理 AI 领先者——包括机器人公司 1X、Agility Robotics 和小鹏汽车，以及自动驾驶汽车开发商 Uber 和 Waabi ——已经在与 Cosmos 协作，加速并增强模型开发。

开发者可以在 NVIDIA API 目录中预览首个 Cosmos 自回归和扩散模型，并从 NGC 目录和 Hugging Face 下载模型系列和微调框架。

用于物理 AI 的世界基础模型

Cosmos 世界基础模型是一套用于物理感知视频生成的开放式扩散和自回归 Transformer 模型。这些模型已基于 2000 万小时的真实世界人类互动、环境、工业、机器人和驾驶数据，训练了 9,000 万亿个 token。

该类模型分为三类：Nano，用于针对实时、低延迟推理和边缘部署进行优化的模型；Super，用于高性能基线模型；Ultra，具有高质量和保真度，适合用于蒸馏自定义模型。

配合NVIDIA Omniverse3D 输出时，扩散模型生成可控的高质量合成视频数据，用于启动机器人和自动驾驶汽车感知模型的训练。自回归模型基于输入帧和文本，预测视频帧序列中的下一步动态。可实现实时下一个 token 预测，让物理 AI 模型预测他们的下一个最佳行动。

开发者可以使用 Cosmos 开放模型进行文本到世界和视频到世界的生成。扩散或自回归模型版本的参数量在 40 亿到 140 亿之间，现可以在 NGC 目录和 Hugging Face 上查询。

还提供用于总结文本提示的参数量级达 120 亿的上采样模型、针对增强现实优化 70 亿参数级视频解码器、以及确保负责任和安全使用的护栏模型。

为了展示定制的机会，NVIDIA 还发布了针对垂直应用的微调模型样本，例如为自动驾驶汽车生成多传感器视图。

推动机器人、自动驾驶汽车应用

Cosmos 世界基础模型可以实现合成数据生成，以增强训练数据集，在物理 AI 模型部署到现实世界之前进行仿真测试和调试，以及在虚拟环境中进行强化学习以加速 AI 智能体学习。

开发者可以通过使用NVIDIA Omniverse组合的 3D 场景来调节 Cosmos ，从而生成大量可控的基于物理学的合成数据。

Waabi 是一家从自动驾驶汽车开始致力于开发物理世界生成式 AI 的先驱。该公司正在评估 Cosmos 在自动驾驶汽车软件开发和仿真中视频数据搜索与整理的应用。这将进一步加速该公司安全方面行业领先的方法，该方法以 Waabi World 为基础。Waabi World 是一种生成式 AI 仿真器，能够以与现实世界中发生的情况相同的水平，创建出车辆可能遇到的情况。

在机器人开发中，世界基础模型可以生成合成虚拟环境或世界，为机器人学习提供更具性价比、更高效和更受控的空间。AI 机器人初创公司 Hillbot 正在利用 Cosmos 生成万亿字节级的高保真 3D 环境，以提升数据工作流。这种 AI 生成数据将帮助公司完善其机器人培训和操作，实现更快、更高效的机器人技能和提高工业和家庭任务表现。

无论工业或家庭应用，开发者都可以使用 NVIDIA Omniverse 和 Cosmos 作为多元宇宙仿真引擎，允许物理 AI 策略模型模拟执行特定任务的每一个可能的未来路径，从而有助于模型选择最佳路径。

数据管理和 Cosmos 模型的训练依赖于数千个 NVIDIA GPU，通过高性能、完全托管的 AI 平台 NVIDIA DGX Cloud，在每个领先的云端提供加速计算集群。

采用 Cosmos 的开发者可以使用 DGX Cloud 进行 Cosmos 模型的简单部署，并通过 NVIDIA AI Enterprise 软件平台提供进一步的支持。

通过 NVIDIA Cosmos 进行自定义和部署

除基础模型外，Cosmos 平台还包括由 NVIDIA NeMo Curator 提供支持的数据处理和管理工作流，并针对 NVIDIA 数据中心 GPU 进行了优化。

机器人和自动驾驶汽车开发者收集数百万或数十亿小时的真实世界录制视频，从而产生数千万亿字节级的数据。Cosmos 使开发者能够在 NVIDIA Hopper GPU 上仅用 40 天处理 2000 万小时的数据，在 NVIDIA Blackwell GPU 上只需 14 天就能处理 2000 万小时的数据。使用在具有等效功耗的 CPU 系统上运行的未优化的工作流，处理相同数量的数据将需要三年以上的时间。

该平台还拥有一套强大的视频和图像 tokenizer，可以将视频转换为不同视频压缩比的标记，用于训练各种 Transformer 模型。

与当今先进的 tokenizer 相比，Cosmos tokenizer 的总压缩率高出 8 倍，处理速度快 12 倍，在训练和推理方面提供卓越的质量并降低计算成本。开发者可以通过 Hugging Face 和 GitHub 访问这些根据 NVIDIA 开放模式许可提供的tokenizer。

使用 Cosmos 的开发者还可以使用 NeMo 框架提供的模型训练和微调功能，NeMo 框架是一种 GPU 加速框架，可实现高吞吐量 AI 训练。

开发安全、负责任的 AI 模型

现在，Cosmos 已根据 NVIDIA 开放模式许可协议向开发者开放，其开发符合 NVIDIA 的可信 AI 原则，包括非歧视、隐私、安全、保障和透明度。

Cosmos 平台包括 Cosmos Guardrails，这是一套专用的模型，其功能包括在预处理期间减少有害文本和图像输入，以及在后处理期间屏幕生成安全视频。开发者可以进一步增强这些护栏，以适应自定义应用程序。

NVIDIA API Catalog 上的 Cosmos 模型还具有内置的水印系统，可识别 AI 生成序列。

NVIDIA Cosmos 由 NVIDIA Research 开发。请阅读研究论文《Cosmos World Foundation Model Platform for Physical AI》，了解有关模型开发和基准的更多详细信息。可访问 Hugging Face，查找模型卡以了解详细信息。

开始使用 NVIDIA Cosmos 并与 NVIDIA 一起，参加 CES 大会。