深度学习为什么还是无法处理边缘场景？

[首发于智驾最前沿微信公众号]虽然自动驾驶车辆已经完成了数百万公里的行驶测试，深度学习也已被普遍应用，但依然会在一些看似简单的场景中犯下低级错误。比如在遇到一些从未见到过的边缘场景时，系统可能会选择视而不见甚至直接加速。

之所以出现这个问题，是因为深度学习模型大多建立在统计学基础之上，它们通过观察数以千万计的图像学习识别物体的特征。然而，真实世界的道路场景是无限多样的，这种基于“见多识广”的逻辑在面对罕见、极端或从未训练过的场景时会显得捉襟见肘。

深度学习难处理边缘场景的原因

深度学习之所以被广泛应用于自动驾驶感知系统中，很大程度上得益于大规模标注数据集的积累。模型通过大量的图像学习，可以知道什么是车、什么是行人。

然而，这种学习方式存在着一个问题，它本质上是在寻找某种统计上的规律，而不是真正理解物体的物理本质。在学术上，这被称为独立同分布假设，即模型默认未来在路上遇到的情况一定和它在训练集里学过的情况是一致的。

可现实交通环境并非如此。当路面上出现一个穿着奇装异服的行人、一个形状诡异的施工围挡，或者由于事故而侧翻、轮廓完全变形的货车时，模型会因为这些物体的特征与它“脑海中”的标准模板不匹配，而产生认知偏差。

这种偏差会导致模型表现得过度自信。如当自动驾驶系统在白天、晴天的市区环境里训练了99%的时间，它就会形成一种先验的偏好。如果它在某个黄昏的隧道口遇到剧烈的光影交替，产生了一些怪异的阴影轮廓，模型可能会错误地将其归类为不具威胁的路面杂质，而理解不了那其实是一个正在横穿马路的障碍物。

这其实就是分布外（OOD）问题，即测试环境的分布偏离了训练数据的分布，导致模型性能急剧下降。

此外，传感器本身的物理局限也加剧了这种认知的脆弱性。摄像头作为被动传感器，极度依赖环境光，在强逆光或极暗环境下，图像的对比度会丧失，噪声会干扰特征提取，使算法无法准确推算距离。

物理层面的对抗和干扰也是深度学习模型无法处理边缘场景的原因。有研究发现如果利用特定的镜面材料覆盖交通锥，可以通过反射改变激光脉冲的方向，使激光雷达产生“物体消失”的错觉，或者通过特定的角度反射产生“幻影”障碍物。

这意味着，仅通过增加训练数据是永远无法穷尽所有可能出现的物理干扰的。现有的视觉方案在处理长尾场景时的泛化能力缺失，是高阶自动驾驶必须跨越的一道鸿沟。

如何解决这个问题？

为了解决没见过就不认识的问题，自动驾驶技术正在从单纯的目标识别向空间占用演进。

传统的逻辑是给每个物体画框并分类，但占用网络（Occupancy Network）带来了一种全新的解决方案，它不再纠结于那个物体是什么，而是判断那个空间是否被占据。通过将三维空间划分为无数细小的网格单元（体素），模型预测每个单元格是空闲还是被占用。

这种方式极大地增强了系统对异形物体的处理能力，无论是横在地上的树干、倾斜的吊车臂，还是散落的货物，只要它占据了物理空间，系统就会将其标记为不可行驶区域。

这种感知维度的升级，离不开Transformer架构与鸟瞰图（BEV）技术的融合。传统的感知是逐个摄像头、逐帧处理的，这容易导致视野割裂。

而现在的技术是将多个摄像头的二维图像通过Transformer架构的注意力机制，实时转换到一个统一的三维全景鸟瞰空间中。这种全局视野不仅能让车辆更清晰地观察道路和标志的位置关系，还能通过时间维度上的信息积累，解决短时间的遮挡问题。

如当一个行人在视觉上被路边车挡住的一瞬间，系统不会认为人消失了，而是根据其之前的速度和物理规律，在占用图中持续保留对其位置的估计。

与此同时，大模型的引入为感知系统注入了更强的表示能力。拥有数十亿甚至上百亿参数的大模型，能够捕捉到极其复杂的语义关系，学习到比传统卷积网络更深层的特征。

通过在大规模通用语料和图像数据上进行预训练，这些模型已经学会了广泛的常识，在迁移到自动驾驶特定任务时，可以显著减少对人工标注的需求，甚至展现出一定的零样本学习能力，即在面对从未见过的场景时，也能通过联想和推理做出合理的判断。

这种从局部特征提取到全局语义理解的演进，正在让自动驾驶系统从“寻找像素规律”转向“建立世界观”。

数据闭环与合成现实构建自我进化的知识体系

解决长尾场景的另一个关键在于如何高效地获取和利用高价值数据。

特斯拉提出的影子模式是这一领域的典型代表。每辆行驶在路上的量产车都像是一个潜在的教练。当人类驾驶员的操作与自动驾驶系统的模拟决策出现不一致时，或者系统检测到感知端的不确定性跳变，该场景的数据就会被触发回传。

这种机制让系统能够源源不断地从真实世界的意外中学习，利用海量的实车里程积累那些极度稀缺的事故案例和复杂路况。

然而，真实道路测试的成本和风险依然很高。为了填补数据的最后一块拼图，合成数据生成技术成为了必选项。

利用像英伟达DRIVE Replicator这样的工具，开发者可以在虚拟仿真环境中精确建模真实的物理现象。通过域随机化技术，可以在同一个数字孪生场景中自动生成无数种光照、天气和交通流的组合。

更重要的是，仿真环境可以安全地模拟那些在现实中如翻车事故、暴雨中的行人横穿或者异形物体的跌落等极其危险甚至无法捕捉的场景。

这种方式不仅提供了高质量的训练样本，还自带完美的真值标注，极大加速了算法的训练闭环。

为了让这套系统更聪明，主动学习技术被用来自动化筛选这些海量数据。与其让标注员无休止地处理重复的晴天路况，系统会自动识别那些位于决策边界、模型信心不足的“困难样本”交给专家标注。

通过这种迭代循环，模型可以用更少的数据实现更高的精度，让自动驾驶的“飞轮”越转越快。

认知觉醒与风险权衡让机器学会知其不知

在技术不断进化的过程中，完美的感知可能永远无法实现，因此让系统学会承认自己不知道并进行风险权衡变得至关重要。

不确定性估计就是这样一种机制，它要求模型在输出每一个决策时都带上一个置信度。

这种不确定性可能来源于数据噪声（比如图像模糊），也可能来源于认知局限（比如遇到了从未见过的物体）。

当系统检测到不确定性上升时，它会触发更保守的驾驶行为，执行如主动减速、拉开跟车距离，或者在极端情况下发出警告请求人工接管等操作。

更高阶的演进方向还有世界模型（World Models）。它不再是被动地感知当下，而是通过对环境的内部表征来预测未来。世界模型将感知到的信息压缩成一种内部状态，并尝试推演接下来可能发生的多种场景。

如果系统预测到前方三秒钟内行人有冲出的风险，它就可以提前制定最优的制动方案。这种具备前瞻性的推演能力，让自动驾驶汽车从简单的“感知-反应”模式，进化到了“理解-推演-决策”的更高层次。

最后的话

自动驾驶解决罕见场景的过程，其实就是一部从依赖数据红利到追求认知深度的进化史。通过将占用网络带来的几何直觉、Transformer架构带来的全局视野、数据闭环带来的自我进化能力，以及世界模型带来的预测能力有机结合，自动驾驶正在逐步普及。

虽然真实世界的复杂性依然是一项长期挑战，但通过这些多维度的技术突破，我们正在把那些未知的风险转化为可管理的风险，让机器不仅学会如何开车，更学会如何理解这个复杂多变的物理世界。