车载视觉是自动驾驶的难已突破的屏障

今天，大家对自动驾驶都充满了期待，任何一场科技大秀上，总少不了自动驾驶的身影。不过与之伴生的，还有与自动驾驶相关的事故数量的增加，特斯拉、Uber前后脚都发生了在（准）自动驾驶状态下的致死事故。

可能你会觉得自动驾驶商用进程有些慢，现在的方案还不靠谱儿，但考虑到其应用场景的特殊性，以及开发上的难度，你就不会有太多抱怨了。比如就车载视觉处理，这个自动驾驶的核心要素来说，其对开发者提出的挑战就不一般。

姑且不提自动驾驶，今天想做好一款像样的ADAS就不简单。一方面，ADAS视觉处理需要应对越来越复杂的应用环境，暗光、恶劣天气下也要确保可靠的表现；另一方面，为了提升视觉系统识别判断的准确性，甚至让其具有自我学习提升的能力，引入机器学习、神经网络等AI算法也势在必行。

这些需求必然会增加视觉处理工作的复杂性和负荷，耗费更多的计算资源和时间，而这又恰恰和车载应用这个资源受限的嵌入式环境，以及“硬”实时性的要求构成矛盾……这就是车载视觉应用开发者每天面对的困局。

图1，车载视频处理典型流程

要想“破局”，我们首先来看看车载视觉处理典型的流程。这个流程包括四个步骤：

1

第一步

预处理：包括成帧、颜色调整、白平衡、对比度均衡、图像扭正等工作，这种像素级的处理特点是数据量非常大，而且每像素之间相互独立，彼此没有很强的依赖关系，要求高带宽的并行数据处理能力。

2

第二步

特征提取：是在预处理的基础上，提取出图像中的特征点，特别是关键的边缘角点。

3

第三步

目标识别：基于特征数据的输出，对图像中的物体进行识别分类——人、车、交通标志等，这其中就会运用到一些机器学习、神经网络的算法。

4

第四步

目标跟踪：对上述单帧图像进行记录，并累计多帧后做出判定，实现稳定的识别和判断。

通常前三步被认为是底层和中层的处理，运算的并行度较高，第四步由于有前后的逻辑判断关系，所以属于顺序执行，需要串行处理。可见，车载视觉处理流程中的这些任务，需求各不相同，单一架构的硬件平台很难满足所有要求，所以就需要有更加复杂、综合的异构硬件平台，以不同的硬件资源去应对不同的计算处理任务，这样才能胜任。

以恩智浦半导体的S32V车载视觉处理器为例，它对应车载视觉处理的不同步骤配置了不同的针对性的计算单元。

图2，恩智浦半导体S32V车载视觉处理器框图（图片来源：NXP）

对于预处理到特征提取这种像素级的工作，S32V提供了一个可编程的ISP（图像信号处理器），对于流处理进行加速；而其可编程性也为底层处理提供了灵活性，以应对不同应用中的预处理需求。

对于特征提取到目标识别这个层次的处理任务，由于要运行AI算法，特别需要视觉加速，为此S32V引入了两个专用的APEX-2协处理器，实现高速并行的单指令多数据架构的加速计算。

在目标识别到目标跟踪高层处理，涉及到串行计算，S32V通过运行频率高达1GHz的多核Arm Cortex-A53处理器（最高配置可达四核）来完成，同时S32V在处理器系统中还集成了一个频率高达133 MHz的Cortex-M4内核，去实现一些控制功能，以及实时性的工作。

在加上其他诸如3D GPU、硬件安全加密、存储和外设接口等功能，S32V构成了一个完整的汽车级的安全嵌入式视觉处理平台。

但是想做一个完整的方案或产品，有了合适的硬件只是第一步，接下来还需要软件的配合。在功能受限、功耗敏感的嵌入式视觉应用中，如何实现硬件和软件之间最优的配合尤为关键，也就是说，要将软件任务放在最合适的硬件单元中运行，充分利用和释放出硬件的能力。

为了达到这一目的，一个基础性的工作就是：要对应用中典型的计算模式做出分析和分类，找出有并行加速需求或者潜力工作，将其安排给最适合的硬件去加速。实际的工作中，可以尝试几种不同的并行计算加速方式：

数据并行：将需要并行处理的数据，交给有并行计算能力的单元去做，如APEX-2这种专用的协处理器——专用的肯定比通用的处理器速度快。

流水线并行：综合调度各种计算单元，在同一时间上让所有单元都处于满负荷运行状态，谁也不闲着。

任务并行：在同一时间安排进行不同的视觉处理任务。

经过上述全面的优化，软硬件的紧密配合，车载视觉处理速度和综合性能才能得到大幅的提升。

图3，车载视频处理流程和对应S32V硬件资源（图片来源：NXP）

车载视觉可以说是嵌入式视觉处理领域难度较高的一个领域，需要各方面资源更紧密的协作、全方位的配合——硬件开发者需要充分理解目标应用的需求，提供最高效的硬件加速架构；软件开发者也要吃透硬件的特性，合理调配资源，将硬件性能发挥到极致。虽然不容易，但这就是我们通往自动驾驶的必由之路。