0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

常用的RGB-D SLAM解决方案

3D视觉工坊 来源:计算机视觉工坊 2024-04-16 09:37 次阅读

目前室内RGB-D SLAM的sota方法有哪些呢?

由于室内场景的稠密三维重建是一个非常火热的研究领域了,到目前为止出现了许许多多好的研究工作,恕能力和时间的限制,不能进行一一介绍,所以对目前一些比较常用的RGB-D SLAM解决方案进行介绍。

1.BundleFusion

BundleFusion是一种稠密的实时室内场景三维重建算法框架。输入为RGB-D相机采集的并且是对齐好的RGB图像和深度图的数据流。输出为重建好的稠密三维场景模型。

整个算法流程如下图所示:

b2286352-fb88-11ee-a297-92fbcf53809c.png

其优点在于重建效果在所有RGB-D SLAM中靠前,支持在GPU上实时鲁棒跟踪,可以在跟踪失败时移动到重建成功的地方进行重定位,匹配上后继续跟踪。

但是缺点在于由于成像传感器存在噪音,稀疏关键点匹配可能产生小的局部误匹配。这些误匹配可能会在全局优化中传播,导致误差累积。实际重建时效果和所使用深度相机的性能、待重建场景的纹理丰富程度关系很大。

论文获取地址:http://arxiv.org/pdf/1604.01093.pdf

项目地址:https://graphics.stanford.edu/projects/bundlefusion/

源码获取地址:https://github.com/niessner/BundleFusion

2.InfiniTAM

InfiniTAM是牛津大学于2016年发表的稠密SLAM方案,目前已经发展到了v3版本,该方案基于KinectFusion和体素块哈希表发展而来。首先,InfiniTAM方案在建图部分利用TSDF模型(截断符号距离场)进行建模,只是在建模的时候,不是对整个空间都划分等大小的网格,而是只在场景表面的周围划分网格,且只为待重建的表面上的体素块分配显存,并使用哈希表这一结构来管理GPU对体素块的内存分配和数据访问。通过这样的方法,InfiniTAM 大大减小了稠密建图对 GPU 的内存消耗,提升了算法效率。

算法流程如下图所示:

b2376adc-fb88-11ee-a297-92fbcf53809c.png

项目地址:https://www.robots.ox.ac.uk/~victor/infinitam/index.html

代码获取地址:https://github.com/victorprad/InfiniTAM

3.RTAB-Map

RTAB-Map(基于外观的实时映射)是一种基于RGB-D、立体和激光雷达的SLAM算法框架,它以基于外观的增量闭环检测为基础。闭环检测使用词袋法来确定新图像来自先前位置或新位置的可能性。当闭环检测假设被接受时,一个新的约束将被添加到地图的图形中,然后图形优化器将地图中的误差最小化。RTAB-Map可单独与手持Kinect、立体摄像头或3D激光雷达配合使用,用于6DoF地图绘制;也可与配备激光测距仪的机器人配合使用,用于3DoF地图绘制。

算法流程如下图所示:

b24f8c0c-fb88-11ee-a297-92fbcf53809c.png

其优点在于定位精度很准,支持视觉、激光传感器,支持跨平台、ROS,在线处理

缺点在于鲁棒性不是很好,如果建图时间和重定位时间间隔得比较久,或者光线变化都很明显的话,重定位会失败。而且点云网格化用possion重建,不是主流的TSDF,速度会慢。

项目地址:https://introlab.github.io/rtabmap/

代码获取地址:https://github.com/introlab/rtabmap

4.ORB-SLAM3

在前作ORB-SLAM2的基础上,大佬于2020年7月开源了ORB-SLAM3的论文和源码。ORB-SLAM3支持的设备和功能更多,支持单目、双目、RGB-D相机,针孔、鱼眼,视觉惯性里程计,多地图等,几乎覆盖了视觉SLAM各个分支。总体来说,ORB-SLAM3基本框架、代码结构都是ORB-SLAM2的延伸,但是加入了很多新的方法,实现了更好的效果。

主要系统架构如下图所示:

b25f443a-fb88-11ee-a297-92fbcf53809c.png

论文获取地址:https://arxiv.org/pdf/2007.11898.pdf

审核编辑:黄飞

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    206

    文章

    27052

    浏览量

    201438
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4424

    浏览量

    126724
  • SLAM
    +关注

    关注

    22

    文章

    390

    浏览量

    31592
  • 激光雷达
    +关注

    关注

    961

    文章

    3662

    浏览量

    186787

原文标题:室内RGB-D SLAM解决方案有哪些?

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    动态环境中基于神经隐式表示的RGB-D SLAM

    神经隐式表示已经被探索用于增强视觉SLAM掩码算法,特别是在提供高保真的密集地图方面。
    的头像 发表于 01-17 10:39 491次阅读
    动态环境中基于神经隐式表示的<b class='flag-5'>RGB-D</b> <b class='flag-5'>SLAM</b>

    虹科rooom元宇宙解决方案 #VR技术 #AR #3D视觉

    解决方案vr3D视觉
    虹科ARVR
    发布于 :2022年10月11日 16:22:29

    RGB接口静电放电防护方案

    抑制器:ESD03V32D-LC常用产品: 符合要求:IEC 61000-4-2 ESD替代选项:其他解决方案:• 高速信号 I/O 接口-ESD 防护• 普通信号 I/O 接口-ESD 防护其他
    发表于 04-21 14:40

    如何去开发一款基于RGB-D相机与机械臂的三维重建无序抓取系统

    基于RGB-D相机与机械臂的三维重建无序抓取系统有哪些关键技术?如何去开发一款基于RGB-D相机与机械臂的三维重建无序抓取系统?基于RGB-D相机与机械臂的三维重建无序抓取系统是由哪些部分组成的?
    发表于 09-08 06:12

    几种典型的SLAM应用场景和它的解决方案

    到产品过渡的阶段。行业中已经出现了一些以SLAM技术为主的产品,但离进入千家万户还有一定的距离。 本文将从SLAM的基本技术,典型SLAM的应用以及目前行业中使用的解决方案来介绍。 ▍
    发表于 09-22 16:11 2次下载

    基于RGB-D图像物体识别方法

    针对传统的颜色一深度(RGB-D)图像物体识别的方法所存在的图像特征学习不全面、特征编码鲁棒性不够等问题,提出了基于核描述子局部约束线性编码( KD-LLC)的RGB-D图像物体识别方法。首先
    发表于 12-07 10:22 1次下载
    基于<b class='flag-5'>RGB-D</b>图像物体识别方法

    RGB-D图像是什么

    RGB-D图像其实是两幅图像。
    的头像 发表于 11-01 11:46 1.7w次阅读

    基于UWB、里程计和RGB-D融合的室内定位方法

    的思想,仅消耗极少部分的计算资源就可以将各个传感器融合起来,提高了系统精度。实验结果表明,该方法可以将定位误差抑制在10cm以内将偏转角误差抑制在1以内,彻底解决单一RGB-D摄像头SLAM时跟踪失败的问题。
    发表于 04-25 14:47 14次下载
    基于UWB、里程计和<b class='flag-5'>RGB-D</b>融合的室内定位方法

    用于SLAM的神经隐含可扩展编码

    我们提出了NICE-SLAM,一个密集的RGB-D SLAM系统,它具有实时性、可扩展性、预测性和对各种挑战性场景的鲁棒性。
    的头像 发表于 01-30 11:19 493次阅读

    用于快速高保真RGB-D表面重建的神经特征网格优化的GO-Surf

    我们提出了GO-Surf,一种直接的特征网格优化方法,用于从RGB-D序列中准确和快速地重建表面。
    的头像 发表于 03-17 16:35 496次阅读

    基于RGB-D相机的三维重建和传统SFM和SLAM算法有什么区别?

    输入数据流不同。在基于RGB-D相机的三维重建中,输入有深度信息和彩色信息,并且深度信息起主导作用,而在SLAM和SFM算法中输入的是主要是彩色信息,个别工作也有结合深度信息。
    发表于 03-23 12:28 1072次阅读

    用于神经场SLAM的矢量化对象建图

    vMAP 是一种基于神经场的对象级密集 SLAM 系统,可根据 RGB-D 输入流实时自动构建对象级场景模型。
    的头像 发表于 06-15 09:29 538次阅读
    用于神经场<b class='flag-5'>SLAM</b>的矢量化对象建图

    瞄准AGV/AMR领域-维感科技发布高性价比RGB-D ToF相机DS86/87

    维感科技于近期正式对外发售极具性价比的3D ToF RGB-D深度相机新品DS86/87,零售价格分别为4,199元与4,999元。
    发表于 06-16 09:40 312次阅读
    瞄准AGV/AMR领域-维感科技发布高性价比<b class='flag-5'>RGB-D</b> ToF相机DS86/87

    一个动态环境下的实时语义RGB-D SLAM系统

    大多数现有的视觉SLAM方法严重依赖于静态世界假设,在动态环境中很容易失效。本文提出了一个动态环境下的实时语义RGB-D SLAM系统,该系统能够检测已知和未知的运动物体。为了减少计算成本,其只对
    的头像 发表于 08-25 16:49 316次阅读
    一个动态环境下的实时语义<b class='flag-5'>RGB-D</b> <b class='flag-5'>SLAM</b>系统

    一种基于RGB-D图像序列的协同隐式神经同步定位与建图(SLAM)系统

    提出了一种基于RGB-D图像序列的协同隐式神经同步定位与建图(SLAM)系统,该系统由完整的前端和后端模块组成,包括里程计、回环检测、子图融合和全局优化。
    的头像 发表于 11-29 10:35 238次阅读
    一种基于<b class='flag-5'>RGB-D</b>图像序列的协同隐式神经同步定位与建图(<b class='flag-5'>SLAM</b>)系统