使用NVIDIA Cosmos模型提高未来智能汽车安全性

本文是洞悉 Omniverse 系列文章。“洞悉 Omniverse” 重点介绍开发者、3D 从业者与企业如何使用 OpenUSD 和 NVIDIA Omniverse 的最新进展深入改变他们的工作流。

AI 与 OpenUSD 通过实现以仿真为中心的开发策略，推动安全、可扩展的智能汽车开发。

仿真驾驶环境使工程师能够在无数真实和边际场景中安全、高效地训练、测试和验证智能汽车，而且没有物理测试的风险和成本。

这些仿真环境可通过两种方式生成：对智能汽车车队采集的现实世界数据进行神经重建或使用世界基础模型（WFM，一种理解物理学与现实世界属性的神经网络），尤其是 WFM 可用于生成提高辅助驾驶仿真效果的合成数据集。

Cosmos Predict-2、Cosmos Transfer-1 NVIDIA NIM 微服务预览版、Cosmos Reason 等关键创新技术正在以空前的规模提升智能汽车开发者生成合成数据、构建逼真仿真环境和验证安全系统的能力。

通用场景描述（OpenUSD）作为物理 AI 应用的统一数据框架和标准，实现了仿真资产在整条开发管线中的无缝集成与互操作性。OpenUSD 所带来的标准化在确保 3D 管线的可扩展性方面起到了关键作用。

通过NVIDIA Omniverse（一个用于构建基于 OpenUSD 的物理 AI 应用的应用编程接口、软件开发套件和服务平台），开发者可使用 WFM 和神经重建技术进行世界级规模的仿真。

首批使用 Cosmos 模型的企业包括 Foretellix、Mcity、Oxa、Parallel Domain、Plus AI、Uber 等领先的智能汽车企业。

为可扩展、逼真的仿真建立基础

NVIDIA 最新 WFM ——Cosmos Predict-2可根据文本、图像、视频等各种模态的输入预测未来世界状态，以此生成高质量的合成数据。该技术对于创建时间一致的逼真场景至关重要，这些场景能够加速智能汽车和机器人的训练与验证。

此外，Cosmos Transfer（一个为现有场景添加天气、光照和地形变化的控制模型）即将向 CARLA（一款领先的开源辅助驾驶模拟器）上的 15 万名开发者开放，大幅扩展智能汽车开发者社区对先进 AI 模拟工具的访问渠道。

开发者可以开始使用 NVIDIA 物理 AI 数据集将合成数据集成到自身管线中。最新版本包含使用 Cosmos 生成的 4 万个片段。

适用于辅助驾驶模拟的Omniverse Blueprint在此基础上提供了一个 API 驱动的标准化工作流程，用于构建丰富的数字孪生、回放现实传感器数据和生成闭环测试所需的新 ground-truth 数据。

该蓝图使用了OpenUSD的分层堆叠和组合架构，使开发者能够开展异步协作并无损修改场景，通过创建可重复使用的模块化场景变体，高效生成各种天气条件、交通模式和边界情况。

提高未来智能汽车的安全性

为提高辅助驾驶系统的运行安全性，NVIDIA 在今年早些时候推出了 NVIDIA Halos —— 一个将 NVIDIA 的汽车硬件、软件安全解决方案与其智能汽车安全领域前沿的 AI 研究相结合的综合安全系统。

新的 Cosmos 模型——Cosmos Predict-2、Cosmos Transfer-1 NIM 和 Cosmos Reason——为 Halos 系统带来了更多安全增强功能，使开发者能够创建多样化、可控且逼真的场景用于训练和验证辅助驾驶系统。

这些模型基于包括驾驶数据在内的海量多模态数据集训练而成，大大增加了模拟的广度和深度，实现了对罕见及安全关键事件的全面覆盖，同时还支持针对特定辅助驾驶任务的定制化后训练。

在 CVPR 2025 上，NVIDIA 凭借在推动端到端辅助驾驶流水线方面的领先优势而被评为辅助驾驶国际挑战赛“端到端辅助驾驶”赛道的优胜者。NVIDIA 在此次挑战赛上利用 OpenUSD 的强大元数据和互操作性，在半反应堆仿真中根据多传感器数据生成驾驶轨迹，实现了领先的安全性与合规性。