康谋洞察 | L3+智能座舱时代，主机厂三大核心需求揭秘！

在智能座舱感知系统（如 DMS、OMS、安全带识别、儿童遗留检测等）逐渐从研发进入大规模部署的阶段，数据成为模型性能提升的核心瓶颈。尤其在现实采集成本高、隐私受限、长尾样本稀缺的前提下，越来越多客户将目光投向了“舱内合成数据”。

在与算法供应商和主机厂诸多客户的交流过程中，我们也观察到三个始终被反复提出的核心问题，本文为大家详细揭秘：

一、模态是否丰富，能否覆盖多任务模型需求？

相较于传统车外感知任务，舱内感知往往涉及多种任务并发：

（1）驾驶员状态监测（DMS）需提供 RGB、NIR、深度图、红外热图等；

（2）舱内目标识别（OMS）需识别成人、儿童、宠物及其关键点；

（3）安全带/手势/打电话等行为检测需使用语义分割或姿态估计；

（4）基于时序的行为识别模型还需高帧率、长时间段的时序一致数据。

1、客户普遍反馈

“不是只有图像就够了，我们训练要同时用 RGB、深度、语义 mask，还需要完整的关键点标注。”

因此，一个面向舱内场景的合成平台，必须具备多模态输出能力：

（1）支持同步输出：RGB、NIR、IR、深度图、分割图、关键点、动作标签；

（2） 每一帧支持完整 2D/3D 标注（如人脸姿态、骨架、Bounding Box）；

（3）模态间具备严格的像素级对齐与时间同步。

不同分割标准的传感器真值掩膜（左：材料分割掩膜 右：标注分割掩膜）

二、是否支持高度可控的“边缘舱内场景”构建？

现实座舱中的极端情况是舱内模型失效的最大来源，例如：

（1）小孩被遗留在车内后座但被玩具遮挡；

（2）夜间父母怀抱婴儿但光照极弱；

（3）多人乘坐，后排座椅被倒下遮挡视野；

（4）驾驶员佩戴口罩、墨镜、低头、侧脸、疲劳、抽烟等行为混合出现。

1、客户直接表达

“这些是我们在真实测试中经常出错的场景，能不能直接构造出来，用来补训练集？”

所以平台需要具备：

（1）多乘员、多体态、多遮挡物控制能力；

（2）情绪、疲劳、注意力偏移等状态标签控制；

（3）光照条件（夜间、背光）、遮挡类型（雨伞、杂物）、视角模糊模拟能力；

（4）可脚本控制的场景生成引擎，如配置文件中直接设定“后排有儿童+玩具遮挡+车内弱光”组合。

只有能合成这些“长尾”和“不可采集”的场景，合成数据才具备真正补全实采数据盲区的价值。

驾驶员佩戴墨镜的场景

三、合成数据真实度是否支持模型训练与部署？

相比单纯用于验证，舱内合成数据平台的客户越来越倾向于用模型直接训练，这也就对“拟真程度”提出了更高要求：

1、客户真实需求

“我们担心合成图太假，训练完上车精度掉得厉害。你们的合成数据真实度有保证吗？”

为了让数据能用于实际训练，平台需要从三方面确保高拟真性：

（1）真实人物建模

-多体型、种族、性别、穿着、年龄段（尤其是儿童与老人）；

-姿态逼真（靠座、打瞌睡、回头、躺倒）；

-动作/表情基于真实骨骼驱动，避免“动画感”。
（2）真实座舱还原

-车辆内饰结构完整，覆盖不同车型、座位布局；

-可配置装饰物（抱枕、饰品）、反光材质（玻璃、显示屏）；

-支持模拟不同车型的FOV、分辨率、摄像头位置偏移等。
（3）物理光照/材质真实感

- 支持真实 HDR 光照渲染；

- 模拟 IR/热红外成像特性；

- 加入模糊、噪声、运动拖影、畸变等现实感知特性。

为了达到可用于实际训练的效果，合成数据平台需要在图像质量、行为表现和传感器建模等多个维度具备高保真能力，确保模型在部署后具备良好的泛化性能。

例如，图像应能准确模拟真实摄像头的曝光、模糊和遮挡；人物动作需基于真实骨骼驱动而非静态拼接；同时还应支持多种模态协同输出，以满足训练对数据质量的一致性要求。

四、平台实现参考：Anyverse 的应用实践

在平台实现层面，Anyverse 提供了一个相对成熟的参考范式，覆盖了舱内感知数据合成中的多个关键环节。

1、模态生成方面

平台支持多通道同步输出，包括 RGB、NIR、深度图、红外图、语义图、关键点和动作标签等，满足多种感知模型的数据输入需求；

2、场景构建方面

平台可以灵活配置人物数量、姿态、遮挡物、光照条件等变量，以生成多样化甚至极端条件下的舱内场景；

3、图像与行为建模方面

平台使用物理渲染与骨骼动画系统，对座舱结构、乘员动作及其与环境交互过程进行了细致建模，提升了数据的真实感与一致性。

这些工程机制协同构成了一个面向规模化训练的合成数据生成基础，也为舱内感知模型在复杂环境中的表现提供了有力支撑。

五、合成数据应为舱内感知系统“数据主力军”

从客户反馈出发，我们始终认为：

合成数据的价值，不仅在于节省成本，更在于它能合成“你永远采不到、但必须要有”的关键场景。

真正面向工程落地的舱内合成数据平台，应同时满足以下三点：

（1）模态丰富、标注完整

（2）边缘场景可控、可批量

（3）图像逼真、拟合实车部署

这将是支撑下一阶段舱内智能感知系统发展的关键基础设施。

我是分享自动驾驶技术的康谋~