视觉语义里程计的详细资料说明

　　鲁棒数据关联是视觉里程计的核心问题，图像间的对应关系为摄像机姿态和地图估计提供了约束条件。目前最先进的直接和间接方法使用短期跟踪来获得连续的帧到帧约束，而长期约束则使用循环闭包来建立。在这篇论文中，我们提出一个新的视觉语义里程计（VSO）架构，使中期连续追踪点使用语义。我们提出的框架可以很容易地集成到现有的直接和间接视觉里程计管道中。挑战真实世界数据集的实验表明，在自主驾驶环境下，通过整合我们的语义约束，相对于最先进的基线有了显著的改进。

　　视觉里程计（VO）算法使用视觉测量来跟踪一个或多个摄像头的运动。它们基于摄像机馈送确定当前位置的能力构成任何类型的人工智能（例如，自动驾驶汽车或其他自主机器人）和任何类型的智能增强系统（例如，增强或混合现实设备）的关键组件。VO的核心是数据关联问题，因为它在图像之间建立像素级的关联。这些对应同时用于构建场景的三维贴图，并跟踪当前摄影机帧相对于贴图的姿势。当然，这种局部跟踪和映射方法会在每一帧中引入小误差。随着时间的推移积累这些误差会导致姿势和地图估计值的漂移。为了减少这种漂移，利用相应图像观测值之间的约束来联合优化姿态和地图，例如使用扩展Kalman滤波器〔33〕或光束平差〔26，46〕，通常有两种正交方法来减小VO中的漂移。第一种方法使用图像之间的短期对应，通过在后续相机帧之间过渡地建立约束来实现时间漂移校正。这在汽车场景中特别有用，即汽车沿直线行驶很长时间。第二种方法使用循环闭合检测在时间上遥远的帧之间建立长期约束。后者只有在相机多次与先前的轨迹相交或在与预先建立的地图定位的情况下才有效〔30〕。本文提出了一种利用语义对第一种漂移校正策略进行改进的方法，用于中期连续跟踪点。在这种情况下，现有技术的主要限制是缺乏不变性表示：基于特征的方法（例如ORB-SLAM）［34，35］和基于最小化光度误差的直接方法（例如LSDSLAM［13］或DSO［12］）都无法在长距离内连续跟踪一个点因为这两种表示都不是完全不变的观点和照明变化。这种情况的一个例子如图1所示，其中，当汽车行驶在道路上时，面片表示对尺度变化的不变性使得我们无法建立中期对应关系。本文的主要思想是将语义作为一种不变的场景表示。潜在的直觉是，视点、尺度、光照等的变化只影响物体的低级外观，而不影响其语义。如图1所示，场景语义使我们能够建立长期的约束，使我们能够显著地减少VO系统中的漂移。基于这一思想，本文提出了一种新的视觉语义里程计（VSO）方法，将语义约束整合到姿态和地图优化中。具体来说，本文的主要贡献如下：1）我们推导了一种新的最小化语义重投影错误的代价函数，并证明了使用期望最大化（EM）方案可以使其最小化。我们的方法是灵活的，因为它可以与任何语义分割算法相结合。2） 我们证明，在自主驾驶的情况下，将语义代价项包含到VO算法中可以显著减少平移漂移。我们的方法可以很容易地集成到现有的VO方法中，独立于它们依赖于数据的直接或间接方法作为关联。3） 我们实验性地分析了我们的方法的行为，解释了它在哪些条件下提供了改进，并讨论了当前的限制。