智驾数据采集平台搭建之多传感器联合标定

作者 |不爱吃香菜的攻城狮

小编 | 不吃猪头肉
简介
在自动驾驶发展如火如荼的今天，L4和L5级 的自动驾驶功能依旧处于算法开发和验证的阶段，就无可避免的需要极其庞大的路试数据用以支撑算法的开发和训练，为此，北汇信息为客户提供整套的数采平台解决方案。值得一提的是，在数采平台搭建后，到数据的消费端之前，必须要完成数采平台中传感器的标定，才能够使得数据用于感知算法的开发、数据回灌等，所以本文给大家介绍的也是在数采平台搭建之后的传感器标定的相关内容。
由于多传感器的融合能够显著的提高智驾系统的容错性以及冗余度，保证了规控决策的快速性和准确性，已成为自动驾驶的主流趋势。如今的自动驾驶车辆上的传感器都包括如下：

激光雷达：测距精度、范围及对温度和光照的适应性都很强，但是相对较昂贵；

摄像头：相机对环境的细节信息的提取能力强，但是光照适应性弱；

毫米波雷达：探测角度大，抗干扰也强，但是分辨率和精度不足；

超声波雷达：成本低廉，但是精度较差；

GPS+IMU: GPS更新频率低，但每次更新不存在误差累积，IMU更新频率高，但更新过程存在误差累积，所以联合互补使用。

针对这几种传感器，通常都需要完成它们之间的联合标定，如lidar2cam、lidar2imu、radar2lidar、lidar2lidar、radar2cam等等，才能够满足算法开发的使用要求。

传感器标定的原因

传感器标定是自动驾驶感知系统中的重要环节，是后续传感器融合的必要步骤和先决条件，其目的是将两个或者多个传感器变换到统一的时空坐标系，使得传感器融合具有意义，是感知决策的关键前提。

原因一：由于传感器的种类以及数量众多以及位置不同，每一个传感器都有自身的坐标系。比如，毫米波雷达通常会以天线面板中心为坐标原点，垂直坐标原点为X轴建立空间直角坐标系，而摄像头同时也存在一个不同于雷达的坐标系，如下图。

通常情况下，我们是在以车辆为坐标原点的空间直角坐标系下开发诸如ACC、AEB等智驾功能的，此时就需要将传感器的目标映射到车辆坐标系下，才能够基于数据进行感知融合规控算法的开发；

原因二：由于安装误差的存在，以及车辆在使用过程中的振动等，可能会导致传感器的预定安装角度和位置发生偏移，此时就需要通过标定来确定传感器的实际位姿和坐标转换关系，例如改制车辆在使用一段时间后可能需要重新进行标定以及汽车的售后标定等。

传感器的标定过程
标定工作通常分为外参标定和内参标定，内参是决定传感器内部的映射关系，如摄像头的内参包括焦距、畸变系数等，而外参则是传感器和外部坐标系的转换关系，即位姿参数。1.传感器的内参标定

一般来说，高阶智驾的传感器的内参通常是由各个供应商厂家标定完成后给到用户的，如摄像头的焦距和畸变系数等；但是有时也会遇到出厂后需要标定的场景，也可以自己完成内参的标定。比如激光雷达可以通过供应商提供的软件完成内参的重新标定（下图为固态激光雷达通道拼接断层示例）。

另外，通过标定板也可以完成摄像头的内参标定，标定的方法如下图：

第一步，准备一个标定板，可以是圆点标定板，也可以是棋盘格标定板；

第二步，在不同的位置和角度下拍摄多张包含标定盘的图片，需要注意的是，标定的图片要做到尽可能覆盖相机的视场，并且确保在不同的位置和角度下都能看到完整的标定板。

第三步，提取标定板的特征点，并且使用图像处理算法或者视觉库从图片中提取标定板的特征点。

第四步，将不同的图像中的特征点进行匹配，确定其在三维标定系中的对应关系。

第五步，利用已知的标定板的三维世界坐标和其在图像中的对应二维像素坐标，通过相机模型的数学计算，估计相机的内参参数，包括焦距、畸变等。

第六步，通过最小化标定板特征点的重投影误差，来优化估计得到的内参参数。

2.传感器的外参标定值得一提的是，标定方法通常还分为targetless和target两种，第一种一般可以在任意环境中进行标定，约束条件少，不需要用专门的target；第二种则需要专门的控制场，在特定的标定环境下进行，比如典型的棋盘格平面板标定间。本文基于targetless以及离线标定的方式来对外参标定进行举例。lidar2cam的标定：

第一步，在任意的环境中录制lidar数据和拍摄相机图片，通常最好选择有较明显的垂直相交特征（如垂直于地面的电线杆）以及平整地面的环境会使得标定过程更加简单和结果更加准确。

第二步，导入标定源数据后，对lidar特征点云进行提取。

第三步，通过可视化界面，手动调整lidar点云的位姿，使得其和相机的特征相匹配，自动标定则是自动提取特征点云之后进行匹配，没有手动过程。

第四步，点云匹配之后即可得到坐标转换关系，也即位姿矩阵[R,t]，常见的是.yaml或者.txt的文件格式，打开的内容如下图所示。

lidar2lidar的外参标定：
也是先录制离线数据包，环境里面最好包含有垂直相交点云特征的物体，对点云数据进行提取，通过手动标定板调整点云姿态，匹配之后输出位姿矩阵[R,t]。如下图所示，左边是没有标定之前的点云， 右边是标定完成之后的点云：
以下是三个激光雷达（前雷达、前左雷达、前右雷达）使用位姿矩阵将坐标转换后效果视频：

除了lidar2cam和lidar2lidar之外， 其他的外参标定如lidar2radar、radar2cam等标定原理基本上是相似的，所以标定的步骤基本也是类似的，这里就不一一叙述了。有了众多传感器的坐标转换关系，就可以完成坐标系的统一，比如统一到车辆后轴中心，从而进行智驾功能的开发了。传感器精度验证标定完成之后如何进行精度的验证呢？有如下方法可以使用：

直接测量：通过传感器之间的位移，通过测量值来判断标定的位移量和测量之间差别是否过大；

下游评估：通常下游在使用标定参数时能够通过其自己的算法判断标定是否准确，如通过测距是否准确来判断相机内外参是否标定准确；通过融合确定不同传感器感知融合的误差是否过大来判断外参标定是否准确；通过规控判断车辆行驶是否正常，标定参数不对导致的规控异常。

设计标准：有些主机厂会通过设计标定的预期效果来设计定量评估标准。比如相机畸变标定之后的 “直线特征”。又或者举个例子，可以规定在所有的摄像头内参标定重投影误差（pixel）<=1从而来定量进行判断。比如下面两张图张图展示了两个摄像头的标定结果报告的部分内容，如重投影误差以及误差的标准差变化范围（如[-0.000910, -0.001823]，表示在水平和垂直方向上的误差，而后面的标准差部分 [1.044060, 0.498987] 表示这个误差的不确定性，即误差的变化范围。）。

可视化判断：许多时候都是通过可视化直接查看标定精度是否达到预期。如雷达和相机的标定可以查看图像和点云是否对齐来进行判断；雷达和雷达的标定可以通过看雷达和雷达之间的配准来进行判断；相机和相机的标定可以通过看环视拼接效果进行判断。

总结本文给大家介绍了ADAS传感器标定的原因，描述了标定的类型以及举例介绍了相关的标定原理或者说标定过程，最后在简要介绍了标定精度的验证。如果还想了解更多智驾传感器标定的相关内容，或者对北汇信息的智能驾驶数据闭环解决方案的其他内容感兴趣的话，欢迎联系我们，期待您的到来。