51Sim利用NVIDIA Cosmos提升辅助驾驶合成数据场景的泛化性

物理 AI (Physical AI）涵盖机器人技术、智能汽车等领域，需要大量真实世界数据、专用基础设施以及严格的测试。

51Sim 利用NVIDIA Cosmos的生成式世界基础模型，对现有的合成数据进行大规模泛化，在确保物理真实性的前提下，大幅提升了数据的丰富度。同时依托 NVIDIA Issac Sim，将辅助驾驶领域的经验成功拓展到了具身智能领域，为端到端辅助驾驶仿真测试与具身智能机器人训练提供了海量高置信度的合成数据，目前相关成果已在多个主机厂和智能装备企业中实现落地应用。

合成数据的“多样性”和“真实性”痛点

合成数据的泛化性和模拟-现实差距（Sim-to-Real Gap）是包括辅助驾驶仿真在内的具身智能领域的核心难题。

端到端辅助驾驶模型测试区别于传统的模块化测试方式，需要同时包含感知与规控环节，因此高置信度的感知仿真的重要性大幅提升，这也对仿真场景的真实性和数据置信度提出了更高的要求。同时泛化性也是重要的影响因素，高阶辅助驾驶的进化深度依赖数据多样性，海量、多维度，且覆盖极端场景的长尾数据可以有效提升算法针对突发事件的应对能力。

相比于智能汽车，港口、矿山、工厂等场景的工矿则更加复杂，真实数据的采集成本更高、数据更为稀缺。同时由于装备本身的复杂性，需要依托高质量的仿真环境和高度真实的物理仿真引擎才能完成闭环仿真测试与训练数据合成，这为安全性验证提出了更艰巨的任务。

利用 NVIDIA Cosmos 提升辅助驾驶合成数据场景的泛化性

NVIDIA Cosmos是一个生成式世界基础模型（WFMs）平台，包含先进的视觉标记器、护栏以及加速视频数据处理工具管线。它专为加速辅助驾驶汽车和机器人领域的合成数据生成、AI 模型训练与评估而设计，能够为世界模型训练提供支持，并加速辅助驾驶汽车和机器人的物理 AI 开发。

基于高真实感动静态场景仿真和物理级传感器仿真，51Sim 的辅助驾驶与机器人仿真测试平台 SimOne 能够输出丰富的传感器原始数据和真值数据类型，包括摄像头视频流、2D/3D 包围盒、语义分割、实例分割、深度图、法线图等。这些真值可进一步作为Cosmos Transfer的控制输入，通过不同的 Prompt，生成大规模、高真实感的合成数据集。

NVIDIA Cosmos为 51Sim 多种合成数据技术路线的融合带来了更多可能性。图形和 3DGS 混合渲染引擎的输出可以直接作为 Cosmos 世界基础模型的输入。Cosmos Transfer可基于结构输入或来自NVIDIA Omniverse的真实数据，可根据提示，生成不同场景风格的视频。可在 Hugging Face 和 GitHub 上开放使用。在 Cosmos Transfer 的支持下，通过初期的基础场景搭建以及云端 GPU 集群的加速生成，用户可在有限资源投入的前提下，快速生成兼具真实性与多样性的合成数据，显著提升了生成效率，降低合成数据的整体成本。

借助 Cosmos，51Sim 将基于自研方案生产的合成数据的泛化性，实现了跨数量级的提升。一次构建，可生成海量的泛化场景，大幅提升了数据的复用性，节省了重建成本。这些合成数据帮助车企算法研发部门实现了极端数据的“饱和式”覆盖，为应对极端场景提供了更强大的数据保障，加速高阶辅助驾驶算法的快速迭代。

51Sim 专注打造强大落地能力的合成数据方案

凭借多年利用图形引擎对真实世界进行数字孪生重建的经验，51Sim 积累了海量的高质量 3D 资产库，并拥有包括物理仿真及图形渲染、3DGS 辐射场的重建、世界模型在内的行业内全面的合成数据技术路径。

依托自研的 3DGS 混合引擎，51Sim 大幅提升了虚拟环境的视觉真实度和多样化，并大幅降低了重建成本。这些虚拟场景产生的合成数据，严格遵循真实世界的物理规律，包括光照变化、材质特性、碰撞反馈及物体间的动态交互。

51Sim 的合成数据方案已在端到端辅助驾驶领域实现落地应用，凭借高置信度且多样性的仿真场景、真实传感器标定的物理级传感器建模能力及一致性经验，实现了摄像头、激光雷达、毫米波雷达等物理级多传感器仿真，满足了车企算法测试部门对于端到端仿真对置信度的极致要求。

为了进一步满足在辅助驾驶算法对于数据的真实性与多样性的要求，缩小真实与仿真之间的领域差异，SimOne 还引入了实时光线追踪渲染、3DGS 场景及动静态资产的重建技术。同时，为了增强数据的多样性，SimOne 还构建了基于域随机化的静态场景生成系统、基于大语言模型（LLM）的动态场景生成工具，并增加了海量的 SOTIF 资产库，结合天气与光照的泛化能力，从而实现了高质量、多样化的合成数据生成。

未来展望：推动物理AI安全、高效地进入物理世界

基于 NVIDIA Cosmos 与 Isaac Sim 的强大能力，51Sim 进一步为端到端辅助驾驶提供了海量高置信度的仿真数据，全面提升了辅助驾驶系统的安全性与泛化性能，助力车企端到端辅助驾驶技术的落地。

目前，51Sim 目前应用领域已从辅助驾驶仿真，向智能装备、低空飞行器、通用机器人等众多行业进行了拓展。依托 NVIDIA Isaac 开放生态，将多年积累的仿真与合成数据经验，和海量的高质量数据资产，成功拓展到了智能装备、机器人等具身智能的仿真训练领域，为更多行业提供有力数据和仿真能力支撑，推动物理 AI 安全、高效地进入物理世界。

51Sim 于今年加入了 NVIDIA 初创加速计划，并参加了 2025 NVIDIA 创业企业展示活动，后续将在 NVIDIA 的助力下，在技术和市场方面进行更多交流与联动。