汽车电子系统中传感器融合方案

目前，汽车已经成为人们日常出行使用最多的交通工具。为了保证司乘人员和行人的安全，辅助驾驶和自动驾驶越来越成为汽车的标准配置。从L1级别的ADAS应用FCW(前向碰撞预警)、LDW(车道偏离预警)、L2级别的 AEB(自动紧急制动)、LKA(车道保持辅助)、到更高级别的ACC(自适应巡航)、AVP(代客泊车系统)等等， 辅助驾驶/自动驾驶在汽车电子系统中有着越来越大比例的应用。为了实现性能更强、稳定性更高和准确性更高的辅助驾驶、自动驾驶，汽车需要获知本身的位置信息和周边的环境信息，不同种类的传感器，如视觉传感器、激光传感器(LiDAR)、毫米波传感器(RADAR)等，在不同的工作环境下各有优缺点，而融合来自多个传感器数据的过程。可以提供更高的可靠性、冗余性以及最终的安全性。赛灵思作为可编程器件的领导品牌，在汽车电子系统，尤其在传感器融合方面提供了全面的方案。且待本文向您徐徐道来。

1. 融合! 融合起来!

随着辅助驾驶/自动驾驶的等级逐步提高，对传感器种类和数量的要求会逐步增加。L1级别需求(如FCW(前向碰撞预警)、LDW(车道偏离预警)) 主要由单个传感器，如单个视觉摄像头、单个毫米波或摄像头加毫米波的组合来实现相关预警功能:

L2级别需求(AEB(自动紧急制动)、LKA(车道保持辅助)) ，因为需要对车身部分(如底盘的刹车控制系统) 进行直接控制，需要两个或以上不同的传感器来互相校验，确保在各种环境下不错过必须处理的信息，并加强冗余度，一般会有多个视觉摄像头(比如由4个摄像头组成360环视系统，加上一个单独用于前向预警的摄像头，共计5个摄像头的系统)、一个或若干毫米波及其他传感器完成辅助驾驶功能：

对于L3来讲，由于高级别半自动驾驶(如代客泊车AVP)需要对地图进行构建，并进行基于地图的路径规划，通常需要引入激光雷达(为解决盲区，还需要布置高低位置的多个激光雷达)，视觉、毫米波和激光雷达的数量总数基本会超过10个:

随着高级辅助驾驶需要更多传感器种类与数量，如何将这些信号归一化为主控SoC需要的数据，也就是传感器数据归一化(normalization)的需求如何实现呢?这就是我们提及的传感器融合的需求了：

那么传感器数据数据归一化，具体来说要如何进行呢?我们由下图来解释一下：

将多个传感器数据的负载(Payload)， 统一打包为包含报文种类、时间戳(Time Stamp)、其他包头信息和负载的数据包，传送至主控芯片，就是传感器融合的信息了。

我们来总结一下传感器融合的作用：

A 获取车辆环境信息;

B 获得更精确的结果;

--均衡不同传感器的权重

--针对传感器失效的鲁棒性

--各传感器取长补短

C 主要任务

--定位

--地图绘制

--路径规划

2. 当融合时且融合

当我们意识到传感器融合的优势时，就会发现FPGA在传感器融合上的优势：

--FPGA的IO Pin可以灵活配置，适合不同的传感器接口

--FPGA的逻辑可以灵活设计，针对不同型号的传感器做出针对性的设计。

而传感器融合的基石，就是如何进行数据同步!

如果不进行同步的话，假设有一个目标高速经过车辆前部，如果各传感器不同步，不同的传感器会给出不同的目标方位和相对距离信息，会令处理系统很难做出正确响应：

但如果进行了同步，所有观感器信息反馈的信息都是基于同一时间点，针对同一个目标反馈的目标速度、相对距离、角度等信息也不会产生混淆：

针对上述的同步，具体方式如下:

1. 硬件同步 / Hardware synchronization

--使用同步触发(trigger acquisition， FPGA的强项之一哦!)

--所有传感器使用同一个硬件给出的时钟源(FPGA的IO资源非常适合做配置!).

2. 软件同步 / Software synchronization

--使用时间戳(timestamp ) 同步

--每个传感器自行加入校正后的时间戳

3. 空间同步 / Spatial synchronization

将各传感器坐标系统归一化为统一系统(对坐标系转换的硬件加速也是FPGA的强项!)

4. 时空同步 / Spatiotemporal synchronization

--以上所有同步的综合

下面也给出一些使用FPGA进行同步的技术技巧：

1. 统一的的坐标系与时钟;

2. 使用GPS提供时间戳的时钟同步与校准;

3. 一般使用激光雷达提供Trigger , 作为数据对齐基础;

--这是自动驾驶技术的历史传承，基于ROS / ROS2 的 Autoware， Baidu的Apollo及其他开源版本都是如此。

4. 传感器相互之间进行校正 ( Sensorcalibration );

同步后数据，如何通过网络在车内网络传输，也是传感器融合的重要功能，而TSN (时钟同步网络) 更是会助力融合更好地进行!

基于802.1 AS的TSN我们在之前的文章中已经有介绍，如有您有在赛灵思器件上实现TSN的需求，也请联系科通，我们为您提供咨询和支持。

3. 如何十分安全地融合?

既然传感器融合主要用于汽车应用，功能安全就变得非常重要!针对功能安全的需求，作为可编程器件领先品牌，赛灵思针对各行业的安全需求，提供了由原厂或第三方提供的服务:

其中和汽车相关的 IEC-61508和 ISO-26262认证，赛灵思都提供原厂直接支持的文档、工具和服务。

当然还有经过车规验证的各型号SOC/FPGA、IP、工具链和参考设计开发板，如果您有需求，都欢迎联系科通哦!

4. 有科通，融合更方便

针对车规需求，我们集成科通代理的相关产线，为您提供整体方案。下图也只是其中一部分哦!

原文标题：基于赛灵思的传感器融合方案

文章出处：【微信公众号：Comtech科通】欢迎添加关注!文章转载请注明出处。

审核编辑：汤梓红