0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于自动驾驶汽车记录的3D激光扫描的SLAM闭环问题讨论

3D视觉工坊 来源:古月居 作者:lovely_yoshino 2022-10-27 11:08 次阅读

简介

我们在之前的博客中讨论了一些激光回环检测的方法,但是基本都是围绕着点云特征去做的,并未涉足过深度学习的相关方法,之前作者在查找《经典文献阅读之—BoW3D》资料时看到了一个比较感兴趣的工作《OverlapNet: Loop Closing for LiDAR-based SLAM》,同时这个文章还拥有对应的开源源码Github,非常适合复现以及学习。

工作重心

同时定位和映射(SLAM)是大多数自主系统所需的基本能力。在本文中,我们讨论了基于自动驾驶汽车记录的3D激光扫描的SLAM闭环问题。

我们的方法利用深度神经网络,利用从激光雷达数据生成的不同线索来寻找环路闭合。

它估计广义到距离图像的图像重叠,并提供扫描对之间的相对偏航角估计。

基于这些预测,我们处理环路闭合检测,并将我们的方法集成到现有的SLAM系统中,以改善其映射结果。

简单来说,作者通过深度学习完成点云转换为影像,然后做回环检测, 输出Overlap和yaw的操作步骤,文中指出,本文的主要创新点有:

能够利用多个线索,不需提前知道两个雷达扫描的相对位姿,只利用范围、法向量、强度和语义等线索,使用深度神经网络直接估计两个激光雷达扫描的重叠率,以及相对偏航角。

结合里程计信息和重叠率预测实现闭环的检测、修正,可以检测到的闭环整合到现有SLAM系统中,可以提高整体位姿估计的结果,产生全局一致的地图。

无需先验位姿信息,解决在自动驾驶中3D LiDAR SLAM 的闭环检测问题,使用产生正确扫描匹配结果的OverlapNet网络预测初始化ICP

详细算法

2.1 Overlap的概念

作者认为直接对比两个点云之间的距离不够精确,因为会受漂移的影响。

因此提出用重叠率来代替距离检测回环。具体思路是由影像的overlap中来,要成功匹配两个图像并计算它们的相对姿态,图像必须重叠。

这可以通过将重叠百分比定义为第一图像中的像素的百分比来量化,该像素可以在没有遮挡的情况下成功地投影回第二图像中。

请注意,该度量不是对称的:如果图像对存在较大的尺度差异。

例如,一幅图像显示一堵墙,另一幅显示该墙周围的许多建筑物,则第一到第二幅图像的重叠百分比可能较大,而第二到第一幅图像的交叠百分比较低。

在本文中,我们使用了距离图像重叠的思想,明确地利用了距离信息

8c57625a-4576-11ed-96c9-dac502259ad0.png

对于环路闭合,重叠百分比的阈值可用于决定两个激光雷达扫描是否在同一位置和/或环路闭合。

对于环路闭合,这种测量可能比一对扫描记录位置之间的常用距离更好,因为位置可能会受到漂移的影响,因此不可靠。

重叠预测与相对姿势无关,因此可用于查找环路闭合,而无需知道扫描之间的正确相对姿势。

2.2 激光雷达扫描对之间重叠的定义

8c85df40-4576-11ed-96c9-dac502259ad0.png8cb5aa86-4576-11ed-96c9-dac502259ad0.png

简单来说就是将两个点云转化为二维图并且坐标系对齐,如果两个坐标差小于阈值记为1,否则为零,求和再除以两个图中像素较小的那个,作者想用这个等式建立训练集。

对于旋转,作者选择旋转多个角度,用最大重叠值代表最终重叠值。

2.3 网络结构

下图描述了所提出的重叠网络的概述。我们利用了多个线索,这些线索可以从单个激光雷达扫描中生成,包括深度、法线、强度和语义类概率信息。

深度信息存储在由一个通道组成的范围图R中。我们使用顶点映射的邻域信息来生成法线映射N,它有三个通道编码法线坐标。

我们直接从传感器获得强度信息,也称为缓解,并使用强度信息为单通道强度图I。使用RangeNet++计算逐点语义类概率,我们将其表示为语义图S。

RangeNet++提供20个不同类的概率。为了提高效率,我们使用主成分分析将20维RangeNet++输出缩减为压缩的三维向量。

信息被组合成一个大小为64×900×D64×900×D的输入张量,其中64900是输入的高度和宽度,$D$取决于使用的数据类型.

8ce9b0c4-4576-11ed-96c9-dac502259ad0.png

这里没有特别仔细去研究,具体就是由两个共享权重的Legs和由Legs生成的相同特征体积对的Head组成。

进一步说这个模型的作用就是将深度图,向量图,强度图,还用RangeNet++做了个语义图一起作为输入。

一个输出是角度特征向量,一个输出是两次扫描之间的重叠率。

8d00c44e-4576-11ed-96c9-dac502259ad0.png8d32d52e-4576-11ed-96c9-dac502259ad0.png

同时使用基于surfel的映射系统SuMa作为的SLAM的 pipeline,并将OverlapNet集成到SuMa中,以取代其原始的启发式环路闭合检测方法。

所以说最后就是SuMa+OverlapNet的集合完成的。

8d5eaf0a-4576-11ed-96c9-dac502259ad0.png





审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • SLAM
    +关注

    关注

    22

    文章

    391

    浏览量

    31592
  • 激光扫描
    +关注

    关注

    0

    文章

    104

    浏览量

    11362

原文标题:经典文献阅读之—OverlapNet

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    头盔3D扫描逆向工程3d建模抄数测绘服务-CASAIM中科广电

    3D扫描
    中科院广州电子
    发布于 :2024年04月12日 14:03:01

    未来已来,多传感器融合感知是自动驾驶破局的关键

    的架构,预计未来许多智能驾驶团队都会引入“占用网络”来提升系统能力。多维像素的应用前景非常广阔。昱感微的融合感知技术+BEV +Transformer+占用网格有望成为L3/L4级自动驾驶最优的落地方案。 昱感微电子融合感知平
    发表于 04-11 10:26

    如何搞定自动驾驶3D目标检测!

    可用于自动驾驶场景下基于图像的3D目标检测的数据集总结。其中一些数据集包括多个任务,这里只报告了3D检测基准(例如KITTI 3D发布了超过40K的图像,其中约15K用于
    发表于 01-05 10:43 152次阅读
    如何搞定<b class='flag-5'>自动驾驶</b><b class='flag-5'>3D</b>目标检测!

    LabVIEW开发自动驾驶的双目测距系统

    LabVIEW开发自动驾驶的双目测距系统 随着车辆驾驶技术的不断发展,自动驾驶技术正日益成为现实。从L2级别的辅助驾驶技术到L3级别的受条件
    发表于 12-19 18:02

    【KV260视觉入门套件试用体验】八、VITis AI自动驾驶多任务执行MultiTask V3

    d58cbda2-97976be7__640x360.avi MultiTask V3 旨在同时执行自动驾驶场景中的不同任务,同时实现优异的性能和效率。这些任务包括对象检测、分 割、车道检测、可行驶区域分割和深度估算,这些
    发表于 09-26 16:43

    一文通过AEC-Q102车规级芯片测试认证了解激光雷达核心技术及行业格局

    13625289200 总结 我们认为,以特斯拉为代表的造车新势力在驾驶上给消费者带来了更“智能化”的体验,也将引领汽车行业L3 级及以上自动驾驶的加速落地,而
    发表于 09-19 13:35

    汽车自动驾驶现状及挑战

    可以授权部分控制权给系统管理,某些功能可以自动进行。L2:半自动驾驶。人类驾驶员和汽车来分享控制权,驾驶员在某些预设环境下可以不操作
    的头像 发表于 08-19 08:30 524次阅读
    <b class='flag-5'>汽车</b><b class='flag-5'>自动驾驶</b>现状及挑战

    低成本3D扫描仪机械部分设计中。#3d打印 #3d扫描 #3d建模 #3d #fusion

    3D扫描
    学习电子知识
    发布于 :2023年07月03日 20:13:56

    CASAIM IM自动3d扫描仪电视机背板外观扫描自动测量尺寸设备

    3D扫描
    中科院广州电子
    发布于 :2023年06月25日 10:23:23

    自动驾驶汽车如何工作 有什么好处

    如今,自动驾驶汽车已成为一个热门话题,理由很充分:无人驾驶汽车可能会带来自工业革命以来最大的社会革命,而且似乎 每个人都在参与其中。 从有关 Apple
    发表于 06-06 14:18 0次下载
    <b class='flag-5'>自动驾驶</b><b class='flag-5'>汽车</b>如何工作 有什么好处

    自动驾驶3D点云语义分割数据标注

    自动驾驶环境感知系统中,如何获取高精度实时路况数据,是决定自动驾驶系统行车安全的关键。 目前主流的两种感知技术路径“纯视觉”与“高精地图+激光雷达”中,由于激光雷达采集的
    发表于 06-06 09:48 3次下载
    <b class='flag-5'>自动驾驶</b><b class='flag-5'>3D</b>点云语义分割数据标注

    自动驾驶中的SLAM

    自动驾驶等。近几年来,在汽车制造商的参与下,对智能汽车的关注进一步推动 了SLAM的研究工作。 全球导航卫星系统(GlobalNavigation Satellite Syste
    发表于 06-02 14:25 2次下载
    <b class='flag-5'>自动驾驶</b>中的<b class='flag-5'>SLAM</b>

    自动驾驶技术概述

    自动驾驶汽车,通过技术实现车辆自动驾驶,目的是减少驾驶疲劳、增强驾驶安全。 自动驾驶
    发表于 06-01 14:50 1次下载
    <b class='flag-5'>自动驾驶</b>技术概述

    汽车自动驾驶等级

    汽车工程师协会)制定的划分方法,按照分级标准,自动驾驶从L0至L5总共被分为 6个级别,L0代表没有自动驾驶的传统人类驾驶,L1至L5则随自动驾驶
    发表于 06-01 14:32 0次下载
    <b class='flag-5'>汽车</b><b class='flag-5'>自动驾驶</b>等级

    黑芝麻智能:基于激光雷视融合的3D自动标注技术助力自动驾驶技术更上一层楼

    日前,黑芝麻智能机器学习专家张蕾在由黑芝麻智能主办的“2023智能汽车高峰论坛”上发表了主题为“基于激光雷视融合的3D自动标注技术助力自动驾驶
    的头像 发表于 05-12 10:55 718次阅读