利用NVIDIA Cosmos开放世界基础模型加速物理AI开发

NVIDIA 最近发布了 NVIDIA Cosmos 开放世界基础模型（WFM）的更新，旨在加速物理 AI 模型的测试与验证数据生成。借助 NVIDIA Omniverse 库和 Cosmos，开发者可以大规模生成基于物理学的合成数据。

Cosmos Predict 2.5现在将 Text2World、Image2World 和 Video2World 三个独立的模型统一为一个轻量级架构，能够从单个图像、视频或提示生成一致且可控的多机位视频世界。

Cosmos Transfer 2.5能够实现高保真、空间可控的世界间风格转换，以增加数据多样性。开发者可以在多机位的仿真环境中添加新的天气、光照和地形条件。Cosmos Transfer 2.5 的体积缩小到上一代的 1/3.5，性能更快的同时，在提示对齐和物理精度方面都有所提升。

这些 WFM 可以集成到在 NVIDIA Isaac Sim 开源机器人仿真框架中运行的合成数据流程中，该框架基于 NVIDIA Omniverse 平台构建，以生成逼真的视频，缩小仿真与现实之间的差距。开发者可以参考由四部分构成的合成数据生成流程：

NVIDIA Omniverse NuRec 神经重建库，可通过智能手机拍摄的图像，在 OpenUSD 环境中重建真实世界的数字孪生。

SimReady 资产，用于为数字孪生填充物理精确的 3D 模型。

Isaac Sim 中的 MobilityGen 工作流，用于生成合成数据。

NVIDIA Cosmos，用于扩充生成数据。

从仿真到现实世界，了解企业与开发者如何使用合成数据：Skild AI，Serve Robotics，Zipline，光轮智能，FS Studio，Robots for Humanity 等领先的机器人和 AI 公司及开发者已经在使用这些技术来加速物理 AI 开发。

文是洞悉Omniverse系列文章。“洞悉 Omniverse”重点介绍开发者、3D 从业者与企业如何使用OpenUSD和NVIDIA Omniverse的最新进展深入改变他们的工作流。

驱动机器人、辅助驾驶车辆和其他智能机器的物理 AI模型必须具备安全性、能够适应动态场景，以及实时感知、推理和操作的能力。与可基于互联网海量数据集训练的大型语言模型不同，物理 AI 模型必须从基于现实世界中的数据中学习。

然而，要收集足够多的涵盖现实世界各种场景的数据是极其困难的，在某些情况下甚至存在危险。基于物理学的合成数据生成，为解决这一问题提供了关键途径。

NVIDIA 最近发布了NVIDIA Cosmos开放世界基础模型 (WFM)的更新，旨在加速物理 AI 模型的测试与验证数据生成。借助NVIDIA Omniverse库和 Cosmos，开发者可以大规模生成基于物理学的合成数据。

Cosmos Predict 2.5现在将 Text2World、Image2World 和 Video2World 三个独立的模型统一为一个轻量级架构，能够从单个图像、视频或提示生成一致且可控的多机位视频世界。

Cosmos Transfer 2.5能够实现高保真、空间可控的世界间风格转换，以增加数据多样性。开发者可以在多机位的仿真环境中添加新的天气、光照和地形条件。Cosmos Transfer 2.5 的体积缩小到上一代的 1/3.5，性能更快的同时，在提示对齐和物理精度方面都有所提升。

这些 WFM 可以集成到在NVIDIA Isaac Sim开源机器人仿真框架中运行的合成数据流程中，该框架基于NVIDIA Omniverse平台构建，以生成逼真的视频，缩小仿真与现实之间的差距。开发者可以参考由四部分构成的合成数据生成流程：

NVIDIA Omniverse NuRec 神经重建库，可通过智能手机拍摄的图像，在OpenUSD环境中重建真实世界的数字孪生。

SimReady 资产，用于为数字孪生填充物理精确的 3D 模型。

Isaac Sim 中的 MobilityGen 工作流，用于生成合成数据。

NVIDIA Cosmos，用于扩充生成数据。

从仿真到现实世界

领先的机器人和 AI 公司已经在使用这些技术来加速物理 AI 开发。

Skild AI致力于打造通用机器人的大脑，他们正利用 Cosmos Transfer，通过添加新变体来扩充现有数据，以便测试和验证在NVIDIA Isaac Lab训练的机器人策略。

Skild AI 使用 Isaac Lab 创建可扩展的仿真环境，让其机器人可以在不同的形态和应用场景中训练。通过将 Isaac Lab 的机器人仿真能力和 Cosmos 的合成数据生成相结合，Skild AI 能够在各种条件下训练机器人智能体，避免了现实世界数据采集所面临的时间和成本限制。

Serve Robotics在 NVIDIA Isaac Sim 中从数千个仿真场景中生成合成数据，然后结合真实数据与合成数据，用于物理 AI 模型训练。该公司已构建起全球规模最大的公共空间自主机器人车队之一，并在城市地区完成了超过 10 万次“最后一英里”送餐。Serve 的机器人每月收集 100 万英里的数据，包含近 1700 亿张图像与激光雷达样本，这些数据被用于仿真训练以持续优化机器人模型。

除了给人送餐，Serve 最近还使用其机器人来运送算力——将全新的NVIDIA DGX Spark个人 AI 超级计算机交付给 Refik Anadol、Will.I.AM 和 Ollama。DGX Spark 提供 1 petaflop 的 AI 性能，为开发者提供了桌面级计算能力，支持从 AI 模型原型设计、模型微调到推理及机器人开发等全流程工作。

自主无人机送货公司 Zipline 也参与了 DGX Spark 的交付，首席硬件官 Jo Mardall 在加利福尼亚州半月湾的公司总部和测试场地通过无人机接收了 DGX Spark。Zipline 使用NVIDIA Jetson边缘 AI 和机器人平台为其无人机配送系统提供支持。

了解开发者如何使用合成数据

光轮智能作为一家仿真优先的机器人解决方案提供商，正利用 SimReady 资产和大规模合成数据集帮助公司弥合仿真到现实的差距。凭借基于 OpenUSD 构建的高质量合成数据和仿真环境，光轮智能的解决方案有助于确保在仿真中训练的机器人能够在从工厂车间到家庭场景的真实环境中高效运作。

数据科学家、Omniverse 社区成员Santiago Villa正运用合成数据结合Omniverse 库与 Blender 软件，通过识别阻碍作业的大型岩块来优化采矿作业。

未被检测到的岩石进入破碎机可能会导致每次事故延误七分钟或更久，每年给矿山造成高达 65 万美元的生产损失。利用 Omniverse 在不同光照和天气条件下生成数千张自动标注的合成图像能够显著降低培训成本，同时使矿业公司能够改进岩石检测系统，避免设备停机。

FS Studio与一家全球物流领导者合作，利用Omniverse 库 (如 Replicator)创建了数千种在不同光照条件下的逼真包裹变体，以改善 AI 驱动的包裹检测。合成数据集显著提高了目标检测精度，减少了误报，为客户物流网络中的吞吐速度和系统性能带来了可衡量的提升。

Robots for Humanity 为一家石油和天然气客户在 Isaac Sim 中使用 Omniverse 库构建了完整的仿真环境，生成合成数据，包括深度、分割和 RGB 图像，同时通过遥操作从 Unitree G1 机器人收集关节和运动数据。

Omniverse 大使Scott Dempsey正在开发一个合成数据生成合成器，根据现实世界制造商的规格构建各种电缆，使用 Isaac Sim 生成经过 Cosmos Transfer 增强的合成数据，为检测和处理电缆的应用创建逼真的训练数据集。