NVIDIA Cosmos加速机器人和自动驾驶汽车物理AI发展

“洞悉 Omniverse”系列文章将重点介绍艺术家、开发者和企业如何使用通用场景描述和 NVIDIA Omniverse 的最新技术改变其工作流程。

NVIDIA Cosmos 通过可预测未来世界状态的世界基础模型加速物理 AI 的发展。

物理 AI 是 AI 的下一个风口。物理 AI 模型不但能够理解指令，还能够在现实世界中进行感知和交互并执行复杂的动作，因此可用于驱动机器人、自动驾驶汽车等自主机器。

物理 AI 模型理解世界和生成动作的方式类似于大语言模型处理和生成文本的方式。为此，物理 AI 模型必须在仿真模拟环境中接受训练，以便理解重力、摩擦力、惯性等物理动力学知识、几何和空间关系以及因果原理。

全球软件开发和专业服务领域的领先企业正在使用 OpenUSD 驱动的 NVIDIA Omniverse 构建新产品和服务。这些产品和服务将加速 AI 和可控模拟仿真的发展，帮助企业创建被称为数字孪生的逼真虚拟世界，并利用数字孪生所具有的空前精度与细节训练物理 AI。

使用 Omniverse 和 NVIDIA Cosmos

成倍生成合成数据

NVIDIA 在 CES 上发布的生成式 AI 模型和蓝图将 Omniverse 更加深入地集成到机器人、自动驾驶汽车、视觉 AI 等物理 AI 应用中。

NVIDIA Cosmos 是一个由先进生成式世界基础模型、高级 tokenizer、护栏和加速视频处理管线组成的平台。该平台的所有组成部分都是为了加速物理 AI 的开发。

物理 AI 模型的开发过程不仅成本高昂、资源和时间耗费巨大，而且还需要大量现实数据和进行大量实际测试。Cosmos 的世界基础模型(WFM)基于多模态输入以视频的形式预测未来世界的状态，使开发者能够轻松生成大量逼真、基于物理学的合成数据，并使用这些数据训练和评估用于机器人、自动驾驶汽车与机器的 AI。开发者还可以通过微调 Cosmos WFM，建立下游世界模型或提高特定物理 AI 用例的质量和效率。

在与 Omniverse 搭配使用时，Cosmos 可创建一个强大的合成数据倍增引擎。开发者可以使用 Omniverse 创建 3D 场景，然后将输出结果输入 Cosmos 生成可控的视频和变化。它能够成倍快速生成涵盖各种环境和交互的训练数据，大幅加快自动驾驶汽车和机器人等物理 AI 系统的开发速度。

使用 OpenUSD 可以将这些场景中的数据无缝整合并以统一的方式呈现，提高仿真模拟的真实性与有效性。

Cosmos 的首批用户中有多家领先的机器人和汽车公司，包括 1X、Agile Robots、Agility Robotics、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi 和小鹏，以及共享出行巨头 Uber。

Cosmos 在物理 AI 用例中的应用

Cosmos WFM 提供了一个为各种应用开发、训练和部署大规模 AI 模型的统一框架，为各行各业带来了变革。例如汽车、工业和机器人领域的企业现在能够运用生成式物理 AI 和仿真模拟的力量加快创新并提高运营效率。

人形机器人：适用于合成运动生成的 NVIDIA Isaac GR00T Blueprint 帮助开发者生成海量合成运动数据集，以便使用模仿学习训练人形机器人。借助 GR00T 工作流，用户可以捕捉人类动作并使用 Cosmos 将数据集的规模和种类增加数倍，使其更加适合用于训练物理 AI 系统。

自动驾驶汽车：Omniverse Sensor RTX API 驱动的自动驾驶汽车(AV)仿真使自动驾驶汽车开发者能够播放驾驶数据、生成新的 ground-truth 数据和进行闭环测试，从而加快开发流程。开发者可以使用 Cosmos 生成合成驾驶场景，令训练数据成倍增加，加快自动驾驶汽车物理 AI 模型的开发速度。全球共享出行巨头 Uber 正在与 NVIDIA 合作，共同加速自动驾驶汽车的发展。Uber 能够提供的丰富驾驶数据集，结合 Cosmos 和 NVIDIA DGX Cloud，帮助自动驾驶汽车伙伴更加高效地构建更强大的 AI 模型。

工业：Mega 是一种 Omniverse Blueprint，用于在基于 USD 的数字孪生中大规模开发、测试和优化将被部署到工厂和仓库的物理 AI 与机器人机队。该蓝图使用 Omniverse Cloud Sensor RTX API 同时渲染来自各类智能机器的多传感器数据，实现大规模、高保真的传感器仿真。Cosmos 通过生成合成边缘案例场景来丰富训练数据，大大提高了使用 Mega 在仿真中训练机器人的效果和效率。供应链方案提供商 KION Group 是首批使用 Mega 推动零售、消费品包装、包裹服务等行业仓库自动化的企业之一。

进入 OpenUSD 的世界

关于 Cosmos 的更多信息，请观看 NVIDIA 首席执行官黄仁勋 CES 主题演讲回放视频，并开始使用 Cosmos WFM。Cosmos WFM 现在可通过 Hugging Face 和 NVIDIA NGC 产品目录上的开放模型许可证获得。

通过 NVIDIA 深度学习培训中心为 3D 开发者和从业者免费提供的全新 Learn OpenUSD 自学课程，了解如何持续优化 OpenUSD 工作流。有关 OpenUSD 的更多资源，请访问 OpenUSD 论坛联盟和 AOUSD 网站。