3DGS技术详解（一）：3DGS如何融合动态天气与光照等环境因素？

▍文章来源于康谋自动驾驶

01 引言

无论是暴雪过后的街道、夜幕下车灯照亮的路面、还是雨雾交织的高速公路——这些对人类驾驶员而言习以为常的场景，却构成了自动驾驶系统面临的环境感知极限挑战。这是由于传统3D场景重建技术在面对复杂环境时常常力不从心：要么把雪花当成场景的一部分输入进模型，要么在光照变化时直接失效。

近年来，3D高斯泼溅（3D Gaussian Splatting, 3DGS）技术的崛起，为这一困境带来了革命性转机。该技术不仅实现了近乎实时的逼真场景渲染，更在动态天气建模、光照变化处理等关键领域取得突破性进展，正在重新定义自动驾驶仿真系统的能力边界。

本文将系统梳理3DGS从静态重建到动态环境建模的技术演进，并探讨其在自动驾驶仿真中的实践应用。

02 静态重建到动态环境的技术演进

3DGS的核心机制与局限

3DGS用数百万个3D高斯椭球体来表示场景，每个高斯体携带位置、协方差、不透明度和颜色信息。渲染时按深度排序投影到2D平面，通过alpha混合生成最终图像。相比NeRF需要对每个像素进行耗时的体积渲染，3DGS的光栅化过程能充分利用GPU并行计算，实现实时渲染。

但原始3DGS有个致命缺陷：它假设场景静态、光照恒定。这在博物馆文物扫描中没问题，但放到真实世界就行不通了。雪天拍摄的街景会把空中飘落的雪花、镜头上的水滴都当作场景固有特征学习进去，导致重建出的场景永远"下着雪"。

天气环境重建

真实世界的天气环境重建需要攻克三个核心难题：天气伪影的分离去除、动态天气效果的逼真生成，以及移动光源下的场景重建。针对这些挑战，研究者们提出了多项创新解决方案，本文将聚焦三篇代表性论文进行分享交流：

天气伪影的分离与去除——WeatherGS：https://arxiv.org/pdf/2412.18862

动态天气效果的生成——Let it snow：https://arxiv.org/pdf/2504.05296

移动光源下的场景重建——DarkGS：https://arxiv.org/pdf/2403.10814

天气伪影的分离与去除

WeatherGS将天气干扰分为两类：空气中的密集粒子（雪花、雨滴）和镜头表面的稀疏遮挡（水珠、雾气）。前者分布广泛但单点影响小，后者局部遮挡严重但数量有限。

研究者设计了“密集到稀疏”的两阶段预处理流程：首先用大气效应滤波器清除空气中的气象干扰，类似图像去噪但需保留场景真实纹理；随后用镜头效应检测器提取稀疏遮挡掩膜，标记被镜头污染遮挡的像素。处理后的图像和掩膜一起送入3DGS训练，被遮挡区域不参与损失计算，从而恢复出干净的底层场景。

这套方案的难点在于平衡：去除太激进会损失场景细节，太保守则天气伪影残留。更棘手的是，不同天气条件(暴雪、小雨、雾霾)的特征差异很大，模型需要具备跨场景的泛化能力。

图1：不同方法在雨雪天气下的伪影去除效果

动态天气效果的生成

去除天气伪影只是第一步，更进阶的需求是在干净场景上主动添加可控的天气效果。在清除伪影的基础上，“Let it Snow”进一步实现了可控天气效果的主动添加。该方法创新性地结合了物理仿真与AI生成模型：物理引擎确保粒子运动符合重力、风力等自然规律；视频扩散模型则通过学习真实天气视频，引导3DGS中的粒子外观逼近真实效果。

通过联合优化框架，物理先验与视觉先验协同工作，既保证了雪花飘落、雨滴溅射的物理合理性，又实现了照片级的渲染质感。

图2：天气粒子效果

移动光源下的场景重建

自动驾驶车辆经常在夜间或隧道等暗光环境中工作，此时车载光源成为主要照明。但这带来同一路面，车辆靠近时被强光照亮，远离时又陷入黑暗，视觉外观完全不同的棘手问题。传统3DGS会把不同光照下的观测当作不同的表面材质来学习，导致重建失败。

DarkGS针对自动驾驶常见的夜间或隧道场景，提出了NeLiS光源模型。该模型通过数据驱动学习真实光源行为，包含四个组件：相对照度分布用神经网络学习光源的角度相关特性；光衰减函数采用Lorentzian函数引入可学习参数；环境光建模考虑非完全黑暗环境的基础照明；BRDF模型采用Lambertian反射描述表面材质。

训练时同时优化场景几何、表面反照率和光源参数。同时为避免高度耦合的参数陷入局部最优，训练采用分阶段预热策略：先固定光源姿态学习场景结构，再逐步放开光源参数进行联合优化。一旦完成标定，即可在重建场景中自由调整光源位置与强度，模拟从正午阳光到夜间车灯的全时段光照变化。

图3：移动光源下的场景重建效果

03 aiSim的3DGS实践

现实困境

首先长尾场景的采集一直以来都是自动驾驶发展中难题之一。系统的安全性高度依赖其对极端情况的应对能力，但这些Corner Case在实际道路上出现概率极低。例如，一辆测试车可能行驶数千公里才能遇到一次暴雪天气，数万公里才会碰到夜间施工区域的复杂光影场景。若完全依赖实车采集来覆盖这些罕见状况，所需的时间与经济成本将难以承受。

此外，传统仿真技术虽能快速生成数据，却在真实感上存在明显不足。比如基于游戏引擎的仿真平台（如CARLA、LGSVL）依赖于手工建模的场景和预设的天气系统，其视觉表现与真实世界仍存在可察觉的差距。例如，雨滴的运动轨迹往往过于规则，水面反射缺乏自然变化，雨雾的层次感与遮挡效果也不够真实。在光照模拟方面，游戏引擎常用的简化模型（如Phong、Blinn-Phong）难以准确复现车灯在湿滑路面上的复杂反射、路灯透过雨雾的散射等关键光学现象，而这些恰恰是夜间驾驶感知系统必须可靠应对的场景。

aiSim的3DGS场景重建

aiSim采用3DGS作为核心场景表示技术，实现了“采集即建模”的高效工作流。数据采集车只需搭载多目相机和激光雷达，在目标区域正常行驶一遍，就能收集到重建所需的多视角图像和稀疏点云。回到实验室后，3DGS重建流程可以在几小时内完成，这比传统建模快了几个数量级。

重建出的场景保留了真实世界的所有细节，如路面的磨损纹理、建筑物的风化痕迹、植被的自然分布等。这种“照片级”的还原度让仿真数据与真实数据在视觉统计特征上高度一致，大幅缩小sim-to-real gap。更重要的是极具可扩展性，当需要新场景时，只需派出采集车跑一趟，无需等待建模团队排期。这种"采集即建模"的模式让场景库的增长速度与算法迭代需求相匹配。

环境因素的精细控制

天气系统：aiSim支持对3DGS重建场景的天气修改。用户可以通过参数面板调节天气条件、天气粒子强度、能见度等参数，系统实时生成对应的天气效果。

光照系统：aiSim每个场景在重建时会同步标定光源特性，包括太阳光的方向和强度、环境光的色温。在仿真时，可以任意调整时间、添加或移除人工光源。一个典型应用场景是测试车辆在隧道出入口的适应性：隧道内是昏暗的人工照明，出口处是刺眼的阳光，这种剧烈的光照变化会导致相机曝光失调。在aisim中可以精确复现这一过程，让感知算法在仿真中充分训练应对策略。

材质与反射：aiSim可以在3DGS重建的场景中模拟不同材质在不同光照下的表现。如干燥路面的漫反射与积水路面的镜面反射，复现车灯光斑等关键视觉特征。

图4：不同天气/光照下，aiSim中3DGS场景重建效果

3DGS的核心机制与局限

aiSim结合Word Extractor工具链，可实现3DGS场景的快速提取与重建。在真实数据重建的基础上，系统支持多层次程序化扩展：

在重建的道路网络上根据交通规则生成车辆、行人的运动轨迹；

定义天气变化的时间序列，例如“晴天→多云→小雨→暴雨”的渐变过程；

模拟一天中太阳的运动轨迹，或者夜间路灯的闪烁、对向车辆远光灯的晃动。

这种“真实基底+程序化变化”的模式兼顾了真实感和可控性。基础场景的真实性保证了数据分布的准确性，程序化变化则提供了测试所需的多样性和可重复性。

图5：Word Extractor工具链

04 结语

总之，3DGS技术在环境因素处理上的系列突破——从WeatherGS的伪影分离，到“Let it Snow”的动态天气生成，再到DarkGS的移动光源建模——共同推动着虚拟仿真向真实世界复杂性的不断逼近。

可以这样说，aiSim将这些前沿研究转化为工程实践，构建了一个既高度真实又完全可控的自动驾驶测试环境。在重建的3DGS场景中，暴雪可以按需降临，夜晚可以随时切换到正午，同一场景可在无限变体中反复验证算法鲁棒性。

尽管当前的3DGS方案在处理镜面反射、透明物体、动态阴影等方面仍有局限，多传感器融合仿真也有待完善。但技术方向已经明确：通过真实数据驱动的场景重建，结合物理规律与AI生成的环境模拟。而行业内的我们，正在朝着方向构建一个足以支撑L4级自动驾驶验证的仿真体系。