基于视觉传感器的ORB-SLAM系统的学习

01、背景介绍

自主导航是机器人基础性和关键性技术，是机器人实现其他更高级任务的前提。视觉 SLAM （Simultaneous Localization And Mapping） 利用视觉传感器获取环境图像信息，基于多视图几何算法构建环境地图。视觉SLAM技术广泛应用于无人驾驶、元宇宙、游戏、智能机器人等领域。在无人驾驶方面，一些大厂如腾讯、阿里、百度、华为、小米、商汤等企业投入重金研发，开放大量关于视觉SLAM职位。同时，国内许多独角兽无人驾驶公司如Momenta、AutoX、小马智能和图森未来等举重金招募视觉SLAM人才。随着元宇宙的火爆，国内互联网巨头尤其字节跳动，纷纷将大量资金投入元宇宙，致使视觉SLAM人才进一步稀缺，引发视觉SLAM更高的薪酬与福利。

02、ORB-SLAM3介绍

视觉SLAM是一种基于视觉传感器的 SLAM 系统，与激光传感器相比，视觉传感器具有成本低、保留环境语义信息的优点，能够与深度学习进行大量结合。ORB-SLAM系列算法是视觉SLAM中具有最广泛关注与应用的算法。ORB-SLAM3是一个支持视觉、视觉+惯导、混合地图的SLAM系统，可以在单目、双目和RGB-D相机上利用针孔或者鱼眼模型运行。在大场景/小场景、室内/室外，ORB-SLAM3都能鲁棒地实时运行，被广泛应用于商业化产品中。

03、学习难点

在学习ORB-SLAM3过程中，需要掌握算法部署、主要线程之间的逻辑关系，吃透ORB-SLAM3算法原理和底层代码。主要难点包括：深入理解关键帧、共视图、因子图等重要概念；掌握IMU预积分的推导过程，以及局部建图线程、闭环与地图合并线程之间的算法逻辑等！

审核编辑：郭婷