3DGS 与 OpenMATERIAL：场景表示与材质标准的分层协同

▍文章来源于康谋自动驾驶

01 引言

3DGS（3D Gaussian Splatting）的出现重塑了场景重建工作流，通过采集的相机与 LiDAR 数据，可直接重建出视觉质量接近手工建模的高保真场景，无需美术师逐资产打磨材质贴图。

康谋世界提取工具链在此基础上更进一步：通过NeRF 教师 + 3DGS 学生的两阶段训练，每个 Gaussian 不仅携带颜色，还承载 LiDAR 强度特征和语义标签，可同时驱动相机仿真（光栅化后端）和 LiDAR 仿真（光线追踪后端），支持 ≥100,000 m² 的大规模场景重建。

由此引出核心疑问：在已有能携带 LiDAR 强度的 3DGS 之后，是否还需要为每个资产单独维护 3D 资产或 .xoma 文件？

本文核心结论先行：两者不在同一层级，并非替代关系。3DGS 解决的是“如何高效表示和渲染场景”，而 OpenMATERIAL 解决的是“如何标准化描述物理材质属性”。具体分析见下文：

02 OpenMATERIAL 解决什么问题

传统格式的盲区

glTF、FBX、USD在视觉渲染方面已经成熟，但它们描述的只是视觉材质：颜色、法线贴图、粗糙度贴图。这些参数对渲染引擎足够，对传感器仿真则不够。

具体后果：

LiDAR 仿真：湿沥青与干混凝土的 LiDAR 回波强度有显著差异（表面粗糙度、水膜光学性质不同），传统格式无法描述这种差异；

毫米波雷达仿真：金属与塑料的雷达截面积（RCS）差别可达 10–20 dB，但 glTF 材质的 metallic 参数针对光学渲染设计，无法映射为电磁仿真所需的介电常数。

这是传统格式的结构性缺失，不是工程实现问题。

模型组成

参数体系

ASAM OpenMATERIAL 3D 1.0.0 标准（2025 年 4 月 3 日发布，52 名参与者，21 家公司，9 个国家）按传感器类型组织参数：

相机仿真：波长相关复折射率查找表（n'、κ）、BRDF 查找表（.xompt 格式，角度 × 波长二维插值）；

LiDAR 仿真：BRDF 查找表、表面粗糙度 RMS（surfaceHeightRms，单位米）、相关长度（surfaceCorrelationLength）；

毫米波雷达仿真：复相对介电常数 εᵣ、复相对磁导率 μᵣ（均为波长 + 温度 + 湿度相关查找表）。

夜晚效果下aiSim渲染效果

其中，电磁参数是 3DGS 无法提供的。从光学图像中无法估计电磁属性，这是物理上的根本限制，不是算法优化问题。

文件层级如下：

文件层级

PBR材质

aiSimArcher 实践案例

aiSimArcher 模型

aiSimArcher是 aiSim 对 OpenMATERIAL 1.0.0 标准的参考实现，采用MPL-2.0 许可证，其核心价值在于提供了携带完整物理描述的标准化资产：

几何参数：147,586 三角形，101 个网格，188 个节点；

材质体系：11 种 PBR 材质（CarPaint、Glass、Rubber 等，含法线贴图）；

.xoma 元数据：包含车辆动力学参数（最高速 70 km/h、加速度 12 m/s²）、前后轴参数（轮径 0.759 m、轨距 1.64 m）及包围盒信息。

该模型的优势在于，同一个 .xoma 文件可同时驱动相机、LiDAR、雷达三种仿真，无需在不同工具间重新定义材质。

认证体系价值

ISO 21448（SOTIF）、UNECE NATM 和 EU AI Act 对仿真可信度有明确要求：虚拟测试场景需要可追溯的物理依据。OpenMATERIAL 的每个 .xoma 文件包含 UUID、数据来源字段和版本控制，支持监管机构要求的证据链追溯。

这是神经网络表示方法结构上无法满足的——隐式权重无法向审查方提供"该漆面 IOR=1.52，来源于 2024 年实验室测量"这样的可验证声明。

03 3DGS 的能力边界

世界提取工具链多模态重建能力

康谋世界提取工具链采用两阶段训练模式：NeRF 教师模型输入 RGB、LiDAR 深度图、LiDAR 强度图和语义分割，经 L2 损失监督后输出稠密点云；3DGS 学生模型用该点云初始化，每个 Gaussian 携带颜色（3 阶球谐函数 SH）、深度/法线、LiDAR 强度（sigmoid 归一化标量）和语义标签。

两阶段训练流程图

工具链配备双渲染后端：光栅化后端用于相机仿真，光线追踪后端支持 LiDAR 扫描模式仿真，通过 BEV 分块训练消除大场景边界伪影，可支持 ≥100,000 m² 的场景规模。

分块训练

SH 系数的本质局限

标准 3DGS 使用3 阶球谐函数表示每个 Gaussian 的视角相关颜色：

每个 Gaussian 有48 个 SH 系数（16 系数/通道 × 3 通道）。3 阶 SH 是方向辐射的低通滤波器，各阶对应从各向同性基础颜色（0 阶）到较高频高光（3 阶）的外观描述。

需要注意的一个关键是，SH 系数无法被解码为 IOR、粗糙度、金属度等物理参数，它将光照与材质混合烘焙（baked），两者无法分离。这并非工程限制，而是数学层面的根本局限：SH 的优化目标是最小化渲染误差，而非最大化物理可解释性。

3DGS与OpenMATERAIL对比

3.3 LiDAR 强度 ≠ 材质反射率

目前康谋工具链将 LiDAR 扫描强度编码为 Gaussian 的一个维度特征，为 LiDAR 仿真提供支持，但该强度特征是静态、视角无关的标量，无法准确反映真实 LiDAR 传感器固有的方向依赖性。

该强度特征本质是混合信号的数据驱动近似，其表达式为：

它并非解耦后的独立材质属性。一种潜在的优化路径是：将 LiDAR 强度与 RGB 联合用于逆渲染，显式估计 albedo 和 roughness，建立物理 LiDAR 着色模型，实现光照与材质的解耦。

真实LiDAR强度值

LiDAR点云

04 两者定位差异

理解 3DGS 与 OpenMATERIAL 关系的核心，是明确两者在架构中的分层定位：

五层架构图

aiSim当前三项核心能力的分层定位如下：

康谋世界提取工具链（NeRF2GS）：负责层1→层2，完成从数据采集到场景重建的过程；

康谋 aiSimArcher：对应层4，是 OpenMATERIAL 标准的完整标准化实现；

康谋 UE+GS 插件：负责层2→层5，可在 3DGS 场景中插入 OpenMATERIAL 定义的合成资产，实现统一渲染，直接跨越层3。

插件集成链路

其中，UE+GS 插件是当前实用主义的融合路径，它不试图从 3DGS 中提取材质，而是直接向场景注入携带标准化材质的合成资产，绕过了层3 的技术Gap，是目前可落地的工程解决方案。

类比而言，“有了 3DGS 还需要 OpenMATERIAL 吗”，就如同“有了 JPEG 还需要色彩空间标准吗”，JPEG 是图像压缩编码方式，色彩空间标准定义颜色的物理含义，两者层级不同、功能不重叠，缺一不可。

05 两条融合路径

目前3DGS 与 OpenMATERIAL的融合主要有两条路径，具体差异如下表所示：

技术融合路径对比

路径 B 对应的三条技术路线目前均处于研究阶段：

InvRGB+L 路线（ICCV 2025）：LiDAR 强度 + RGB 联合逆渲染，显式估计 albedo/roughness，建立物理 LiDAR 着色模型；是目前材质分解深度最接近实用的方向；

R3DG 路线（ECCV 2024，Relightable 3D Gaussian）：为每个 Gaussian 分配 Disney BRDF 参数（albedo、metallic、roughness）+ 法线，支持任意光照重打光；真正的 PBR 参数分解，可映射到 .xomp 格式，但计算成本高；

GaussianShader + 格式转换（CVPR 2024，PSNR 提升 +1.57 dB）：分离漫反射颜色、镜面色调和标量粗糙度，通过格式转换映射到 .xomp；参数不完整，但工程实现路径最短。

这三条路线均面临同一个问题：当前没有从 3DGS 场景到 .xomp 文件的完整、可用工具链。

本质而言，3DGS 及同类 Neural Material Field 方法无法完整替代材质与标准，核心原因有三点：

精度：雷达仿真需要 εᵣ，神经网络无法从光学图像估计电磁参数，近红外波段的 IOR 也无法从可见光训练数据可靠外推；

可解释性：ISO 26262 高 ASIL 等级要求形式化可验证性，隐式权重无法提供可审计的材质参数声明；

互操作性：神经材质场是工具私有的隐式表示，无法"导出"为跨工具通用的物理参数表。

06 结语

总结来看，3DGS的SH系数专注于描述场景外观，OpenMATERIAL 的 .xomp 文件专注于描述材质物理参数，两者优化目标不同、层级不同，不构成替代关系，反而可形成互补。

而康谋世界提取工具链基于混合信号的数据驱动，实现了 LiDAR 强度特征的编码，同时支持 Radar 在 GS 环境下的渲染；未来，将进一步在 3DGS 环境中实现更为完整的 LiDAR 和 Radar 模拟，推动两者的深度融合与落地应用。