使用OpenUSD与NVIDIA Halos构建安全物理AI系统

全新 NVIDIA 安全框架与技术正在推进开发者构建安全物理 AI 的方式。

本文是洞悉 Omniverse 系列文章。“洞悉 Omniverse”重点介绍开发者、3D 从业者与企业如何使用 OpenUSD 和 NVIDIA Omniverse 的最新进展深入改变他们的工作流。

物理 AI 正从研究实验室走向现实世界，为智能机器人和智能汽车 (如无人驾驶出租车) 提供支持，这些系统必须在不可预测的环境中可靠地感知、推理和行动。

为了安全地扩展这些系统，开发者需要基于 OpenUSD 这一通用基础架构，将现实世界数据、高保真仿真和强大的 AI 模型连接起来的工作流。

最新发布的 OpenUSD 核心规范 1.0 (OpenUSD，即通用场景描述) 定义了标准数据类型、文件格式和组合行为，为开发者在扩展自动化系统时提供可预测、可互操作的 USD 管线。

借助 OpenUSD，NVIDIA Omniverse 库结合了 NVIDIA RTX 渲染、物理仿真和高效的运行时，能够创建精准反映现实环境的数字孪生以及仿真就绪 (SimReady) 资产，用于合成数据生成与测试。

NVIDIA Cosmos 世界基础模型可在这些仿真之上运行，增强数据多样性，从同一场景生成新的天气、光照和地形条件，让团队能够安全地覆盖罕见且具有挑战性的极端案例。

此外，合成数据生成、多模态数据集和 SimReady 工作流程的进步，正在与 NVIDIA Halos 综合安全系统相融合，共同为下一代辅助驾驶系统的部署构建一条基于标准的路径，使部署过程更安全、更快捷、成本效益更高。

构建安全物理 AI 的基础

开放标准与 SimReady 资产

OpenUSD 核心规范 1.0 建立了支撑 SimReady 资产的标准数据模型和行为，使开发者能够在 OpenUSD 上构建适用于 AI 工厂和机器人的可互操作的仿真管线。

基于这一基础，SimReady 3D 资产可在不同工具和团队之间复用，并直接加载到 NVIDIA Isaac Sim 中，USDPhysics 碰撞器、刚体动力学和基于组合弧的变体让团队能够在虚拟设施中测试机器人，对实际操作进行逼真的模拟。

开源学习

Learn OpenUSD 课程现已开源并在 GitHub 上提供，允许贡献者针对不同受众、语言及应用场景进行模板、练习和内容的本地化与适配。这为教育工作者提供了现成的基础框架，帮助新团队快速融入基于 OpenUSD 的仿真工作流。

生成式世界作为安全倍增器

Gaussian splatting 是一种利用可编辑 3D 元素快速高保真渲染环境的技术，结合世界模型，加速安全机器人测试和验证的仿真管线。

在 SIGGRAPH Asia 上，NVIDIA 研究团队推出了 Play4D，这是一种流式工作流，可通过 4D Gaussian splatting 实现动态场景的精准渲染，提高逼真度。

空间智能公司 World Labs 正使用其 Marble 生成式世界模型，结合 NVIDIA Isaac Sim 和 Omniverse NuRec，使研究人员能够仅在数小时内，而非数周，将文本提示和示例图像转换为基于高斯的、物理就绪的逼真 3D 环境。

这些世界随后可用于物理 AI 的训练、测试以及仿真到现实的迁移。这种高保真仿真工作流程扩展了机器人可练习的场景范围，同时将实验安全地保持在仿真中。

光轮智能帮助团队通过 SimReady 资产扩展机器人训练

借助 OpenUSD，光轮智能的 SimReady 资产库包含通用场景描述层，能够更加便捷地构建高保真机器人数字孪生。SimReady 资产嵌入了精确的几何、材质和验证的物理属性，可直接加载到 NVIDIA Isaac Sim 和 Isaac Lab 中进行机器人训练，使机器人在学习过程中体验真实的接触、动力学和传感器反馈。

安全的端到端辅助驾驶

端到端辅助驾驶安全正借助新研究、开放框架和检查服务的结合取得快速进展，可推动安全验证变得更严谨且可扩展。

NVIDIA 研究人员与哈佛大学和斯坦福大学的伙伴最近推出了 Sim2Val 框架，该框架能够通过统计学方法融合真实道路与仿真测试结果，在验证无人驾驶出租车及智能汽车于少见且关键的安全场景中能否安全运行的同时，显著减少开发者对昂贵的物理里程的依赖。

这些创新还包括新的开源 NVIDIA Omniverse NuRec Fixer，这是一个基于 Cosmos 的模型，训练于辅助驾驶数据，能去除神经重建中的伪影，生成更高质量的 SimReady 资产。

为使这些进展符合严格的全球标准，获得美国国家标准学会国家认可委员会 (ANAB) 认证的 NVIDIA Halos AI 系统检测实验室，正通过 Halos 认证计划，为无人驾驶出租车车队、辅助驾驶堆栈、传感器和制造商平台中的 Halos 组件提供公正的检测和认证服务。

辅助驾驶生态系统领导者推动物理 AI 安全落地

Bosch、Nuro 和 Wayve 是首批参与 NVIDIA Halos AI 系统检测实验室的企业，该实验室旨在加速无人驾驶出租车车队的安全大规模部署。生产辅助驾驶、工业自动化和医疗应用传感器系统的 Onsemi 最近成为首个通过 NVIDIA Halos AI 系统检测实验室检查的公司。

开源仿真平台 CARLA 集成了 NVIDIA NuRec 和 Cosmos Transfer，能够生成重建驾驶场景和多样化场景变化;Voxel51 的 FiftyOne 引擎与 Cosmos Dataset Search、NuRec 和 Cosmos Transfer 连接，帮助团队在辅助驾驶流水线中对多模态数据集进行整理、标注与评估。

密歇根大学的 Mcity 正利用 Omniverse 库和技术增强其 32 英亩辅助驾驶测试设施的数字孪生。团队正在集成 NVIDIA 辅助驾驶仿真蓝图和 Omniverse Sensor RTX API，以创建基于物理的摄像头、激光雷达、雷达和超声波传感器模型。

通过将真实传感器记录与高保真仿真数据对齐，并开放共享相关数据资产，Mcity 能够在车辆上路前安全、可重复地测试少见且危险的驾驶场景。