摄像头越多越安全？拆解智驾视觉冗余的真正逻辑

本文首发于智驾最前沿微信公众号，现在的智驾车上，摄像头越来越多了！

为什么一辆车已经装了这么多摄像头，还要让几颗摄像头重复看同一个地方？

之所以会出现这个情况，是因为自动驾驶真正需要解决的，不只是能不能看见的问题，还包括当某个视角看不清、看不到，甚至失效时，系统还能不能获得足够的环境信息。

视觉冗余，就是让关键区域拥有不止一个视觉观测来源。

01

视觉冗余，冗余的到底是什么？

一提到视觉冗余，很多人第一反就是增加摄像头数量。

但数量只是结果，真正重要的是不同摄像头之间有没有形成合理的重叠覆盖和能力互补。

譬如车辆前方可以采用不同视场角的摄像头。

视场较窄的摄像头更适合观察远距离区域，广角摄像头则能够覆盖更大的范围，侧向摄像头负责补充车辆两侧和近距离区域。

这些摄像头拍摄的场景并不需要完全重复，而是可以让部分关键区域存在视场重叠。

这样，同一个目标就有可能从不同位置、不同角度进入多个摄像头的视野，也可以降低系统对单一视角的依赖。

图片源自：网络

例如车辆右转时，一名行人可能同时出现在前视和右侧摄像头的视野中。

两个视角并不是说系统只是简单地识别两遍或者在两个视角中选择，而是通过这两个视角提供互补的图像信息和空间约束，为目标检测、定位以及运动判断提供更多依据。

因此，视觉冗余并不是单纯让一个目标被重复采集，而是让关键区域拥有多个视觉观测来源。

这也是多摄像头和视觉冗余的区别。

多摄像头可以通过扩大感知覆盖范围实现，而视觉冗余更强调关键区域的重叠观测，以及部分视觉信息失效后仍保留其他观测来源。

02

为什么一颗摄像头很难独立承担所有视觉感知？

摄像头能够提供颜色、纹理、道路标线、交通标志以及目标外观等丰富的视觉信息，但其成像质量极易受到光照、天气及遮挡物等实际环境因素的影响。

逆光可能造成局部过曝，夜间会降低有效视觉信息，雨水和污渍可能影响成像，前方的大型车辆还可能直接遮挡小目标。

对于远距离行人、锥桶等目标来说，即使没有被遮挡，它们在图像中的有效像素也可能非常有限。

此外，摄像头获取的是二维图像信息，而车辆需要进一步从图像、时序变化、多视角以及其他传感器信息中估计目标的空间位置和运动状态。

增加不同位置的摄像头，可以提供更多观察角度和空间约束。

所以，视觉冗余解决的不只是看得更广，还降低了单一视角带来的不确定性。

这里的冗余可以理解成两个层面。

一个是信息层面的冗余。不同摄像头从不同方向观察环境，可以提供互补的信息，让系统不必完全依赖某一个视角。

另一个是故障层面的冗余。当某一路摄像头受到遮挡、污染或者局部故障影响时，如果其他视觉通道也覆盖相关区域，系统仍可能保留部分有效观测。

图片源自：网络

但这也不是说一颗摄像头坏了，另一颗就一定能够接管。

如果两颗摄像头同时受到相同的雨水、污渍或者强光影响，或者目标根本没有进入另一颗摄像头的有效视场，那么增加摄像头也不一定能够形成有效冗余。

因此，真正的冗余不仅要看有没有第二颗摄像头，还要看不同视觉路径之间是否具有足够的独立性。

03

为什么摄像头不能无限增加？

如果摄像头越多越安全，那么提升智驾安全最简单的方案就是不断增加摄像头数量。

但实际情况并非如此。

每增加一路摄像头，就意味着需要处理更多图像数据，同时会增加数据传输和计算压力。

尤其是高分辨率摄像头带来的数据量会非常明显。

与此同时，多路摄像头还需要进行时间同步和外参标定，系统需要知道每一路图像来自什么位置、对应什么时间，以及不同摄像头之间的空间关系。

图片源自：网络

更重要的是，不同摄像头的能力并不完全相同。

视场较窄的摄像头可以把更多像素集中到远距离区域，但覆盖范围有限；广角摄像头能够覆盖更大的区域，却不一定适合远距离小目标。

因此，实际的感知架构并不是简单复制相同摄像头，而是根据不同区域和任务进行组合。

在这里，真正值得讨论的并不是车上应该装几颗摄像头，而是哪些区域需要冗余，以及冗余做到什么程度才值得付出额外的算力、带宽、功耗和硬件成本。

冗余设计追求的是合理的覆盖和容错，而不是无限增加传感器数量。

04

两颗摄像头

也不一定是真正的冗余

还有一个容易被忽略的问题，就是同源风险。

假设两颗摄像头都安装在挡风玻璃后方。如果玻璃表面形成水膜或者附着大量污渍，两颗摄像头可能同时受到影响。

再比如，两颗摄像头虽然物理上是两个独立传感器，但如果它们依赖同一个关键计算模块、供电链路或者数据处理环节，那么这个共同节点发生故障时，两路视觉也可能同时受到影响。

所以，冗余并不只是数量上的两个，还要考虑不同感知路径之间的独立性。

对于冗余信号，也需要关注相关故障以及故障检测能力，而不是默认两路数据天然独立。

图片源自：网络

这也是为什么真正的视觉冗余会涉及传感器位置、视场、硬件链路、计算资源以及软件故障处理，而不仅仅是增加几颗摄像头。

蔚来目前公开的Aquila感知系统就是一个比较典型的行业案例。

蔚来官方将其描述为具有360°视觉冗余，公开配置包括7颗8MP高分辨率摄像头、4颗3MP环视摄像头，以及激光雷达、毫米波雷达、超声波传感器等感知单元。

需要说明的是，这里只是蔚来对视觉冗余的架构设计思路，并不意味着所有车型在任何情况下都采用完全相同的传感器配置，实际车辆配置仍以具体车型为准。

05

端到端之后

视觉冗余为什么仍然重要？

端到端智驾改变了感知、预测和决策之间的信息处理方式，但没有改变传感器本身的物理限制。

模型可以直接处理多路摄像头数据，也可以从连续图像中学习目标的运动规律，但如果某个区域因为遮挡、污渍或者摄像头故障而缺少有效观测，模型并不能凭空获得真实世界的信息。

因此，端到端时代，视觉冗余依然重要。

同时也要区分视觉冗余和多传感器互补。

前视摄像头和侧视摄像头对同一区域形成一定程度的重叠，属于视觉系统内部的冗余与互补；

摄像头与激光雷达、毫米波雷达则更多是利用不同感知原理提供互补信息。

后者当然也可以参与整体感知系统的冗余设计，但不能简单等同于视觉冗余。

所以，视觉冗余真正追求的并不是摄像头越多越安全，而是让关键区域存在合理的重叠观测，并尽量降低单一视觉路径对整个感知结果的影响。

对于自动驾驶来说，可靠的视觉感知不只是正常情况下看得见，还要考虑当一个视角看不见时，系统是否仍有其他观测来源可以利用。

审核编辑 黄宇