NVIDIA全新开放物理AI模型和框架加速人形机器人开发

本文是洞悉 Omniverse系列文章。“洞悉 Omniverse”重点介绍开发者、3D 从业者与企业如何使用OpenUSD和NVIDIA Omniverse的最新进展从根本上变革他们的工作流程。

开源已成为推动机器人和自主系统创新的关键因素。通过提供从仿真框架到 AI 模型等关键基础设施的访问权限，NVIDIA 正在推动协作式开发，加速构建更安全、更强大的自主系统。

在 1 月初的 CES 上，NVIDIA 推出了一套全新的开放物理 AI模型和框架，旨在加速人形机器人、智能汽车和其他物理 AI 具身系统的开发。这些工具覆盖了机器人开发的整个生命周期——从高保真世界仿真和合成数据生成，到云原生编排和边缘部署——为开发者提供了一套模块化工具包，助力构建能够在现实世界中进行推理、学习和行动的自主系统。

OpenUSD提供了一个通用框架，对这些物理 AI 工具间的 3D 数据在共享方式进行了标准化，使开发者能够构建精确的数字孪生，并实现从仿真到部署的各个环节中实现无缝复用。基于 OpenUSD 构建的NVIDIA Omniverse库作为 ground‑truth 仿真数据源，为整个技术栈提供支持。

从实验室到展厅

在 CES 2026 上，开发者们将 NVIDIA 物理 AI 堆栈从实验室带到展厅，首次展示了从重型设备、工厂助手到社交和服务机器人的各类设备。

该堆栈整合了NVIDIA Cosmos世界模型；NVIDIA Isaac 技术，包括用于策略评估的全新Isaac Lab-Arena开源框架；用于智能汽车的NVIDIA Alpamayo开放 AI 模型、仿真框架和物理 AI 数据集组合；以及用于跨计算环境协调训练的NVIDIA OSMO框架。

Caterpillar 的 Cat AI 助手搭载面向代理式 AI 的NVIDIA Nemotron开放模型，并运行于 NVIDIA Jetson Thor 边缘 AI 模组上，将自然语言交互直接引入重型车辆驾驶室。操作员可以像使用“Hey Cat”式语音指令获取分步指导，还可以通过语音调整安全参数。

在幕后，Caterpillar利用 Omniverse 库构建工厂和作业现场的数字孪生，以帮助模拟布局、交通流线和多机工作流。在变更部署到作业现场之前，这些洞察会被反馈到设备和车队中，从而使 AI 辅助作业更加安全高效。

LEM Surgical展示了其 Dynamis 机器人手术系统，该系统已获得 FDA 批准，并已在脊柱手术中投入常规临床应用。新一代系统采用 NVIDIA Jetson AGX Thor 进行计算，NVIDIA Holoscan进行实时传感器处理，并借助 NVIDIA Isaac for Healthcare 来训练其自主机械臂。

LEM Surgical 还采用了 NVIDIA Cosmos Transfer (一个开放且完全可定制的世界模型，能够生成基于物理学的合成数据) 来生成合成训练数据，并使用 NVIDIA Isaac Sim 框架进行数字孪生仿真。Dynamis 系统是一款专为硬组织手术设计的双臂人形手术机器人，它能够模拟人类外科医生的灵巧操作，并以更高的精度完成复杂的脊柱手术，从而减轻外科医生和手术助手的体力负担。

NEURA Robotics正在基于 NVIDIA 全套堆栈构建认知机器人，利用Isaac Sim和Isaac Lab，在基于 OpenUSD 的数字孪生中训练其 4NE1 人形机器人和 MiPA 服务机器人，然后再将其部署到家庭和工作场所。该公司还使用 NVIDIA Isaac GR00T-Mimic 对其平台的Isaac GR00T 基础模型进行后训练。

此外，NEURA Robotics 正在与 SAP 和 NVIDIA 协作，将 SAP 的 Joule 智能体集成到其机器人中，通过 Mega NVIDIA Omniverse Blueprint 在复杂、真实的运行场景中模拟和改进机器人行为，然后再将这些智能体和行为部署到公司的 Neuraverse 生态系统以及现实世界的机队中。

智元机器人使用 NVIDIA Cosmos Predict 2 作为其 Genie Envisioner (GE-Sim) 平台的世界建模基础，使该平台能够基于强大的视觉和物理先验知识，生成受动作控制的视频。通过将该数据与 Isaac Sim 和 Isaac Lab 相结合，并利用智元机器人自身的数据进行后训练，使得在 Genie Envisioner 中开发的策略能够更可靠地迁移到 Genie2 人形机器人和 Jetson Thor 驱动的紧凑型桌面机器人。

Intbot正使用 NVIDIA Cosmos Reason 2 开放模型为其社交机器人赋予现实世界的“第六感”——通过该模型的推理能力，识别超越简单脚本任务的简单社交信号和安全情境。在其Cosmos Cookbook中，Intbot 展示了推理视觉语言模型如何协助机器人判断何时开口，并实现更自然的人机交互。

机器人开发者如何利用新的工具包和框架

NVIDIA 近期推出了基于 Isaac Lab 的人形机器人操作引擎 Agile，该引擎整合了完整的仿真到现实验证工作流，可在宇树 G1 和‌逐际动力 TRON 等平台上训练稳健的强化学习策略。

机器人开发者可以利用 Agile 内置的任务配置、用于决策的马尔可夫决策过程 (Markov Decision Process) 数学模型、训练实用工具及确定性评估工具来调整策略。然后，开发者可在 Isaac Lab 中对这些策略进行压力测试，并将运动控制与全身行为更可靠、更高效地转移至真实世界中的机器人。

Hugging Face 与 NVIDIA 正通过将 NVIDIA Isaac GR00T N 系列模型及仿真框架整合至LeRobot 生态系统，实现双方机器人社区的融合。开发者现可直接在 LeRobot 平台访问 Isaac GR00T N1.6 模型与 Isaac Lab-Arena，从而简化策略训练与评估流程。

此外，Hugging Face 的开源 Reachy 2 人形机器人已经与 NVIDIA Jetson Thor 实现了全面互操作，可以直接部署高级视觉语言动作 (VLA) 模型，从而实现强大的现实世界性能。

ROBOTIS是一家领先的智能伺服电机、工业执行器、机械臂、开源人形机器人平台和教育机器人套件开发商，该公司利用 NVIDIA Isaac 技术构建了一个开源的仿真到现实的工作流。该工作流首先在 Isaac Sim 中生成高保真数据，然后使用 GR00T-Mimic 进行数据增强以扩展训练集，最后对基于 VLA 的 Isaac GR00T N 模型进行微调，该模型可直接部署至硬件设备——从而加速从仿真环境向稳健实际任务的迁移。