基于点到极线度量的用于道路车辆的双目视觉里程计

摘要

精准定位是所有自动驾驶系统的基础组成模块。本文，我们专注于双目相机，提出一种名叫SOFT2的新方法，这是当前KITTI评分板上排名第一的算法。SOFT2依赖于对极几何和运动学的约束，也就是说，它是为不会出现纯旋转的装置而开发的。我们最小化了点到极线的距离，这使得该方法能够适应对象深度的不确定性，作为第一步，我们仅使用一个摄像头按比例估计运动。

然后，我们提出联合估计绝对尺度和第二个相机的外部旋转矩阵，以减轻变化的双目设备的外参的影响。最后， 我们通过提出的极线BA处理，平滑帧时间窗口中的运动估计 。

我们还引入了一个多假设特征匹配方法，用于因视角变化出现的外观变化而出现的自相似平面。我们评估SOFT2，并将其与ORB-SLAM2、OV2SLAM和VINS-FUSION在KITTI-360数据集上、KITTI训练序列、Málaga Urban数据集、Oxford Robotics Car数据集、和多车立体事件摄像机数据集进行比较。

图1. KITTI 01序列的极线图解。相机光心点（红色）大致与当前（绿色）和之前（蓝色）帧的极点重合-为了更好地可视化，点位于放大的中心圆中。正方形显示当前帧中检测到的特征，而尾线将它们与来自上一帧的匹配点连接起来。绿线表示与前一帧特征关联的极线。颜色将地面特征和其它特征进行了区分。我们的方法最小化了所有特征与相关极线的垂直距离。



图2.所提双目里程计方法的整体流程。三角形分别代表左右相机。



图3. 尺度和外参旋转估计的阐述。彩色虚线表示代价函数中使用的极线代价对。红色变量表示估计变量。



图4.4帧极线BA的说明。注意，我们只使用左相机的图像。虚线表示代价函数中使用的额外极线代价对，除了来自连续帧的函数外。红色变量表示估计变量。



图5.六条道路特征的示例，其中每三条分别表示：从左侧摄像头（左侧）看到的道路特征（左边块），使用SOFT2（中间块）生成的预测，以及在右侧图像中找到的相应的特征（右侧块）。



图6.在KITTI01序列的第390帧检测到的ORB-SLAM2特征（上）和SOFT2特征（下）。道路特征被标记为紫色，其它被标记为青色。



图7.六条道路特征的示例，其中每三条分别表示：从左侧相机（左侧块）看到的特征，使用SOFT2生成过去5帧的预测（中间块），以及在过去5帧左侧图像找到的特征（右侧块）。



图8.三个KITTI-360序列的估计轨迹和真值。



表1.九个KITTI-360序列的实验评估（trel[%]，rrelr[deg/100 m]）。VO是基础—本征矩阵+利用旧版本SOFT匹配器得到的尺度和外参。注意，SOFT2列表示包含带极线BA的多假设透视校正匹配器的版本，即SOFT2=VO+MHPC+BA3。



图9.外参估计结果显示右侧相机相对于左侧相机的相对旋转，和有估计以及没有估计的轨迹误差影响。ORB-SLAM2的误差也展示出来，以供参考。



表2.在11个KITTI数据集训练序列的实验评估。



图10.三个Málaga序列的估计轨迹和真值。



表3.Málaga数据集的实验评估。



图11.三个Oxford片段的估计轨迹和真值。



表4.Oxford数据集的实验评估。



图12.MVSEC序列的估计轨迹和真值。



表5.MVSEC数据集的实验评估。






审核编辑：刘清