一个实时单目追踪和稠密建图的算法框架TANDEM算法研究

01

概述

最近在研究TANDEM算法，是一个实时单目追踪和稠密建图的算法框架。TANDEM的算法框架可以概括为如下的几个部分：

1、位姿计算----在关键帧实施基于滑窗的像素级集束优化；

2、追踪前端----实施直接稠密图片配准，基于全局模型得到的深度图；

3、CVA-MVSNet----使用全部关键帧来预测稠密深度图；

4、全局地图----使用预测的深度图融合成全局地图，表示为TSDF体素表格。

TANDEM的整体架构图如下所示：

02 模块介绍

相关工作这里就不赘述了，主要涵盖了三维重建、RGB-D SLAM和单目SLAM三个方向的方法介绍和一般流程。这里，我们直接给出TANDEM算法框架中几个关键组件的介绍，也即是单目视觉里程计、使用CVA-MVSNet进行稠密深度估计和体素建图。

2.1单目视觉里程计

最近的一些方法，例如：DSO、ORB-SLAM，都是在多帧图像中使用一组稀疏点来追踪，最后计算出相机的位姿。虽然，使用更多的点来联合优化可以带来性能方面的优化，但是这回造成运行时间的显著提高。因此，在TANDEM中提出的视觉里程计，借鉴了DSO中所描述的----直接稀疏窗口优化后端。但是，TANDEM中还用了全局的TSDF模型来获取稠密深度图，这个深度图主要是用在前端的直接图像配准。

简单总结，TANDEM使用了稠密追踪前端和稀疏后端优化相结合的方式来提高追踪性能。

2.2稠密前端追踪

TANDEM前端的特点：

提供实时相机帧频的追踪

作为后端窗口优化的初始化输入

实现前端稠密点追踪（相较于DSO而言）

2.3CVA-MVSNet

2.3.1单阶段深度计算

因为CVA-MVSNet使用了多阶段的方式来解决了内存损耗的问题，并且不同阶段之间大同小异，因此我们选取一个阶段进行详细分析，然后就可以熟知整个网络模型的作用和功能。

在分析之前，我们先给出模型输入和输出的一些变量的定义。

03 数据集和结果

1、训练集

本文训练了两个CVA-MVSNet的模型：一个使用实际的ScanNet数据集、另一个使用拟合数据集Replica数据集，一些结果如下图所示：

对于不可见的序列，本文的训练结果如下图所示：

2、测试集

本文中使用了ICL-NUIM数据集和EuRoc数据集中的Vicon室内序列来评估稠密3D重建和追踪的结果。具体的一些结果如下：

04 结论

TANDEM是一个实时稠密单目SLAM系统，使用了直接像素里程计和多视图几何。尤其提出了CVA-MVSNet使用整个关键帧窗口，预测高质量的深度图；然后提出稠密追踪模式连接相机位姿估计和稠密3D重建，针对于TSDF融合创建的全局3D模型。结果表明，TANDEM获得更好的性能。 本文，我们对TANDEM论文进行了简单的讲解和分析，后续系列我们进一步深入分析论文的细节，以及后面的代码讲解分析。

审核编辑：刘清