0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

SDMNet:大规模激光雷达点云配准的稀疏到稠密匹配网络

3D视觉工坊 来源:同济智能汽车研究所 2023-05-24 15:53 次阅读

按:自动驾驶车辆需要准确地感知和理解周围环境,相比于二维的视觉感知,三维视觉感知提供了更多的信息和更准确的空间建模能力。而点云配准是三维视觉感知中的一项基本问题,在自动驾驶中的地图、定位等方面有着重要作用。基于特征匹配的配准算法是点云配准领域的核心框架之一,其主要基于特征相似度求解匹配点对,并结合鲁棒匹配算法得到最终的配准结果,该框架更能够适应自动驾驶场景,但大规模且复杂的点云场景也对点云配准算法的效率和准确性提出了更高的要求。基于该问题,作者提出了一种由稀疏到稠密的匹配网络SDMNet,实现了配准精度和效率的良好平衡。在KITTIOdometry、NuScenes和Apollo-SouthBay数据集上都达到了目前的最优性能,且达到了和稀疏匹配算法相当的计算效率。

摘要:点云配准是三维视觉领域的基础问题之一,其目标为基于给定的两帧点云估计其相对位姿变换。以前的基于学习的激光雷达点云配准方法可以分为两种方案:稀疏匹配(Sparse-to-Sparse)和稠密匹配(Dense-to-Dense)。然而,对于大规模室外LiDAR点云,解决密集点对应关系非常耗时,而稀疏关键点匹配容易受到关键点检测误差的影响。基于以上考虑,我们提出了SDMNet,一种新的针对大规模室外点云配准的稀疏对稠密的关键点匹配网络。本文将特征匹配分为两个阶段,即稀疏匹配与局部稠密匹配。在稀疏匹配阶段,从源点云中采样一组稀疏点,然后使用软匹配网络和鲁棒的离群值过滤模块将它们与密集目标点云进行匹配。此外,本文采用了一种新的基于最优传输的邻域匹配模块,增强特征的邻域一致性,显著提高了性能。在局部稠密匹配阶段,通过在高置信度稀疏对应点对的局部空间邻域中执行点的匹配来高效地获取密集对应关系。本文在三个大规模室外激光雷达点云数据集上进行了大量实验证明,本文所提出的SDMNet以高效率达到了最高精度

Ⅰ引言

点云配准旨在估计最佳的刚性变换,以使两个点云对齐。作为三维计算机视觉中的基本任务,点云配准已在各种实际应用中使用,包括自动驾驶[1]、智能机器人[2]、虚拟现实[3]等。随着深度学习的发展,基于学习的方法在点云配准方面取得了显著的性能。早期的基于端到端的估计位姿变换的方法[4][5]主要集中在物体级点云上,并对两个点云的分布和对应关系做出了很强的假设,这对于具有复杂分布的大规模点云缺乏可扩展性。近期对大规模激光雷达点云的基于学习的配准方法遵循着由特征提取、鲁棒的特征匹配的框架,可以分为两类:稠密匹配和稀疏匹配。如图1(a)所示,稠密匹配方法[6][7]首先利用预先计算的描述符构建潜在的密集对应关系,然后利用异常值排除方法排除错误的对应关系。然而,针对大规模点云,解决稠密的匹配关系是相当消耗时间的为了解决计算问题,如图1(b),稀疏点云的匹配方法首先检测关键点,然后仅在稀疏点云中执行配准。然而,关键点检测并不总是完美的。有限的关键点重复特征导致一个点有很大的风险丢失其在另一帧中的匹配点。此外,关键点检测错误也会导致已经匹配好的关键点产生有害的偏离,降低配准的精度。

bb702542-fa05-11ed-90ce-dac502259ad0.png

图1 点云配准的不同匹配方案。绿线:正确点对对应关系。红线:异常值对应关系。我们使用蓝色和黄色的点表示使用的源点和目标点,使用浅蓝色和浅黄色的点表示某种方案中未使用的点。

为了处理上述的问题,我们提出了SDMNet,一种新的由稀疏到密集的针对大规模室外点云的配准方法。稀疏到稠密匹配方案如图1(c)所示。具体而言,我们将配准问题分为两个阶段,即稀疏匹配阶段和局部稠密匹配阶段。在稀疏匹配阶段,给定要对齐的源点云和目标点云、。我们首先使用最远点采样(FPS)[9]算法从中采样一组稀疏点。然后我们设计了一个软匹配网络,为采样的源点预测虚拟对应的目标点,其中引入了空间一致性特征以提高可靠性。此外,我们设计了一种新的损失函数概率距离损失(Probabilistic distance loss),用于对软匹配网络进行额外的监督。然后,我们采用了基于学习的SCNonlocal [7]与PointCN [10]相结合的模型对离群的稀疏的匹配关系中进行剔除。为了增强邻域一致性,我们使用了一种新的邻域匹配模块,利用基于最优传输的方法进行局部邻域匹配,显著提高了性能。在局部稠密匹配阶段,我们在高置信度稀疏对应点的局部空间邻域中进行点匹配。例如,给定两个稀疏对应点和,我们只在这两个点的邻域点中搜索稠密对应关系,这比在全局空间中进行稠密匹配更高效。此外,邻域对应关系可以直接从前面的邻域匹配模块中获得,从而进一步降低了成本。我们使用简单的OA-Net [11]模块进行稠密对应关系过滤。

与稀疏对稀疏匹配方案相比,通过保持目标点云的密度,我们减小了源点失去对应点的风险,并避免了由于关键点检测错误引起的性能下降。与稠密匹配方案相比,我们将特征匹配建模为一个两阶段的过程,避免了在两个密集点集之间进行昂贵的计算。此外,在稀疏匹配阶段,候选的点对匹配关系的数量相对较小,我们可以利用更强大的策略提高稀疏匹配的鲁棒性而不引入大量的计算负担,且在稀疏匹配阶段的邻域匹配模块的匹配结果可以在局部密集匹配阶段中重新使用,避免了重复计算,进一步提高了效率。为了评估所提出的SDMNet方法,我们在三个大规模的室外LiDAR点云数据集上进行了广泛的实验,分别是KITTI里程计数据集[12]、NuScenes数据集[13]和Apollo-SouthBay数据集[14]。实验结果表明,所提出的方法在高效率的同时实现了最先进的性能。我们也评估了该方法在室内点云配准数据集上的表现结果(如3Dmatch数据集),结果同样表明我们的方法有卓越的性能。

作为总结,我们的主要贡献如下:

1、我们针对激光雷达的点云配准提出了一种新的由稀疏到稠密的匹配模式,避免了关键点检测造成的性能下降和稠密匹配中高的计算开销。 2、我们设计了一种基于最优传输算法的新型邻域匹配模块,将邻域一致性集成到匹配流程中,进一步提高了配准性能。 3、在三个大规模室外LiDAR点云数据集上进行的广泛实验证明了所提出的SDMNet方法具有高精度和高效率。 Ⅱ相关工作

传统的点云配准方法可以分为局部和全局方法。局部方法中迭代最近点(Iterative Closest Point,ICP)[15]及其变种[16],[17],[18]是点云配准中最常用的方法。尽管ICP具有高准确性和高效率,但它需要初始转换以避免陷入局部最小值。正态分布变换(Normal Distribution Transform,NDT)是另一类局部配准方法[19],[20],它将源点云表示为带有正态分布的网格单元,然后将目标点云与其进行匹配。与基于ICP的方法相比,NDT对初始转换的敏感性较低,但它也面临局部最优的问题。在全局方法中,如分支定界(Branch-and-Bound,BnB)[21],[22]和半定规划(Semi-Definite Programming,SDP)[23],[24],[25]被用于实现全局配准。然而,这些方法通常耗时较长,因此不能应用于实时应用。基于特征匹配的方法对于全局点云配准非常有效。点云的经典局部特征[26],[27],[28]通常使用局部几何属性提取,这在Guo[29]等人的综述中已经详细介绍。随机采样一致性(Random Sample Consensus,RANSAC)[30]及其变种[31],[32],[33]被广泛用于从特征空间中排除异常值,并获得初始候选对应关系。然而,在异常值比例较低的情况下,RANSAC需要大量迭代才能达到最优解,这导致效率较低。

基于学习的点云配准可以分为两种方案,即端到端配准和基于特征匹配的配准。端到端的配准在单次前向传递中进行特征提取和位姿估计。例如,PointNetLK [5]将PointNet [34]与Lucas和Kanade算法 [35]结合起来进行配准。Deep Closest Point (DCP) [4]使用带有软指针的Transformer架构来预测软对应关系。特征度量配准(Feature-metric Registration,FMR)[36]通过最小化全局特征投影误差来对齐两个点云。IDAM [37]提出了一种迭代的距离感知相似性矩阵卷积模块,并结合了两阶段点云消除(下采样)技术,实现了高效准确的配准。然而,端到端方法对两个点云的分布和对应关系做出了很强的假设,因此在大规模复杂场景中无法达到预期的结果。

基于特征匹配的方法首先利用预先计算的特征构建点对应关系,然后应用基于学习的异常值剔除模块进行对应关系过滤[6][7][8][39][40],41]。随着深度学习的快速发展,出现了许多基于学习的局部点云特征[42][43][44][45][46]。其中,FCGF是最常用的基于学习的特征之一,它利用基于3D稀疏卷积的ResUNet架构来提取特征[42][47]。Deep Global Registration (DGR) [6]提出使用6D稀疏卷积网络来过滤预先计算的点对应关系。DGR在室内点云配准问题中取得了出色的性能。PointDSC [7]将深度空间一致性引入到配准流程中,进一步提高了性能。然而,这些方法主要针对室内点云设计。尽管这些方法可以迁移到室外LiDAR点云,但由于稠密匹配方案面临着高计算复杂性问题。DeepVCP [40]是专门为LiDAR点云配准设计的,然而只能实现局部配准,因为对应关系是在局部空间中进行搜索的。最近,Lu等人[8]提出了一种名为HRegNet的分层网络,用于室外LiDAR点云配准,该方法在准确性和效率方面优于先前的方法,但稀疏关键点匹配方案容易受到关键点检测误差的影响。

Ⅲ本文方法

3.1 整体架构

网络的整体架构如图2,输入网络的为源点云与目标点云、。我们首先使用共享的特征提取器提取特征。然后从中利用最远点采样算法采样个稀疏点,确保他们空间上分布均匀。在稀疏匹配阶段,我们将采样的稀疏点与密集目标点云进行匹配,构建一组稀疏对应关系。然后,在局部密集匹配阶段,我们不是对两个密集点云进行匹配,而是仅匹配高置信度稀疏对应点的局部邻域点,以实现细粒度的配准结果。接下来,我们将详细描述稀疏匹配阶段和局部密集匹配阶段。

bb7bd6e4-fa05-11ed-90ce-dac502259ad0.png

图2:SDMNet整体架构

3.2 稀疏匹配阶段

稀疏匹配阶段的目标是生成可靠和准确的稀疏对应关系。给定个稀疏点,我们首先使用软匹配网络从中预测个虚拟的对应点。然后,我们引入邻域匹配模块,为每个对应关系获取邻域一致性特征,这也将成为后续稀疏对应关系筛选模块的输入之一。

3.2.1 软匹配网络

我们采用了一种软匹配策略去生成虚拟点,这种策略受到HregNet[8]的启发。此外,我们将匹配特征的空间一致性考虑在内,改善虚拟生成点的可靠性。具体的,针对确定的,我们在中搜索个特征空间中的近邻点参与软匹配。为了提高空间一致性,我们针对选择其空间最近邻点及其在点云中的特征空间中的个近邻点。计算与之间的距离及其对应的个近邻点之间的距离,形成一个的矩阵。上述的计算过程可以通过下式表示:

bb82ee3e-fa05-11ed-90ce-dac502259ad0.png

基于上述,我们进一步产生了距离相异性矩阵,即对中的每个元素减去对应的。直观的看,编码了匹配关系中的空间一致性。考虑到离群的匹配关系对应的分布的随机性,对于一对匹配点,当其近邻存在与之在空间上具有一致性,那么这就有很大可能是一对正确的匹配点。因此,我们利用表示的空间相似度特征。

我们将采样的源点和其候选的对应点的坐标、高维特征以及空间一致特征拼接起来,作为共享多层感知机(Shared-MLP)[34]的输入。然后使用最大值池化层(maxpool)以及softmax函数来预测每个候选点的软匹配权重。同时,该权重表示该点是正确对应的可能性。最终的虚拟对应点及其特征可以通过候选点及其特征按照软匹配权重的加权和来计算。为了训练软匹配网络,我们受被用于关键点检测[48]的概率倒角损失的启发设计了一种新颖的概率距离损失,本文将在第3.4节详细描述该损失。

3.2.2 邻域匹配

我们采用了一种基于最优传输的邻域匹配模块生成一个特征来编码两个局部邻域的邻域一致性。如图3所示,为每对匹配点,分别搜索其邻域的个点形成两个点簇,每个点簇有个点,每个点含义维度的特征,然后基于最优传输算法对齐其邻域特征。最优传输算法是一种优化算法,其通过最小化传输的代价矩阵[51]得到最优匹配结果。在这里,我们使用离散版本的最优输运模型,其中源分布和目标分布都是离散的。我们首先使用特征空间中简单的点对点的欧氏距离构建一个成本矩阵。可以表示从第个源邻近点到第个目标邻近点的运输成本。源分布和目标分布都初始化为均匀分布,表示每个邻近点的重要性相等。形式上,设,,其中表示所有元素为的维向量。这里的最优输运问题可以表示为下式:

bb885e64-fa05-11ed-90ce-dac502259ad0.png

其中是解决的最优输运计划,表示Frobenius内积。本文采用了IPOT算法[53]实现了高精度、高效率的最优传输优化。得到后将特征通过将特征对齐。于对齐后的邻域特征进行拼接从而得到两个对应邻域的共同特征。将该特征送入共享的MLP中,通过最大值池化后得到邻域一致性特征。该特征将融入后续的匹配框架中,进一步提高了特征匹配的精度。

bb8e22ea-fa05-11ed-90ce-dac502259ad0.png

图3 邻域匹配模块的架构。给定两个局部邻域中的点形成的点簇,通过解决一个最优传输问题来计算软分配矩阵,以对齐两组特征。

3.2.3稀疏对应关系的过滤

我们采用了使用PointCN的SCNonlocal模块来执行稀疏对应关系的过滤。SCNonlocal模块在[7]中被提出,它引入了空间一致性以实现可靠的匹配点预测。给定相匹配的点组:、。假设是一对匹配的点,SCNonlocal模块首先计算一个矩阵来表示这一组关键点之间的空间一致性,如下式:

bb94f35e-fa05-11ed-90ce-dac502259ad0.png

其中,是一个控制对不同距离敏感度的参数。给定潜在对应集合的输入特征图,我们采用三个线性投影层来生成query:、键:和值:的。基于和之间的点积,计算特征相似性矩阵。然后,更新后的特征可以表示为

bb99ca96-fa05-11ed-90ce-dac502259ad0.png

为了获取全局的上下文信息,我们在SCNonlocal模块之后进一步应用了一个简单的PointCN模块。PointCN是一种高效的基于学习的异常值排除方法,它仅由轻量级的多层感知机(MLP)和上下文归一化层(CN)组成。紧随其后的是Sigmoid函数,用于预测每个稀疏对应关系的置信度分数。稀疏对应关系过滤的过程可以形式上表示为下式:

bba095f6-fa05-11ed-90ce-dac502259ad0.png

其中表示Sigmoid函数。对应关系的输入特征由3D坐标和来自之前邻域匹配模块的邻域一致性特征拼接组成。由于稀疏采样点数量较少,我们可以在稀疏匹配阶段引入复杂的操作,如邻域匹配模块和软匹配网络,以提高稀疏对应关系的鲁棒性和准确性,同时实现高效的点云配准。

3.3 局部稠密匹配

我们在局部邻域中进行局部稠密匹配以获得稠密的相互匹配的点对。通过将稠密匹配问题分解为多个小的局部稠密匹配问题是高效的。此外,考虑到邻域匹配模块可以输出两个局部邻域之间的软分配矩阵,可以直接获得局部稠密点云之间的对应关系,进一步节省计算成本。我们将高置信度稀疏点对的近邻点简单地组合成一个密集对应关系的集合。然后采用Order-Aware Network (OA-Net) [11]来进行密集对应关系的过滤。OA-Net是一种有效的基于学习的异常值排除方法,基于PointCN构建,并引入DiffPool [54]和DiffUnpool层构建分层结构,以捕捉局部上下文信息。我们将点云的3D坐标及其特征和对应的稀疏置信度拼接,将其作为OA-Net的输入,输出是密集对应关系的置信度。

最后,最优刚性变换通过类似于weighted kabsch algorithm[55]的算法进行估计,如下式:

bba7553a-fa05-11ed-90ce-dac502259ad0.png

对上述过程的效率进行分析,在经过体素下采样后,在KITTI数据集中源点云和目标点云中的点数分别为。本文将采样点的数量为设为,邻域点的数量为设为,构建对应关系的计算量大约为,而在密集对密集匹配方法中为(是特征维度,对于广泛使用的FCGF [42],)。因此,与密集对密集匹配方法相比,所提出的方法可以节省约10倍的计算量。

3.4 损失函数

本算法的损失函数由三部分组成,旋转与平移损失用于下游配准任务的训练,见式(7)。分类损失用于对匹配点对的置信度的学习进行监督,该损失函数见式(8),其中为置信度,取决于匹配点之间匹配程度,当高度匹配时为1,否则为0,BCE即计算二元交叉熵损失。本文提出的一种新的损失为概率距离损失,旨在为软匹配网络提供额外的监督信息,该损失函数见式(9),最小化式中的第二项倾向于减小高置信度对应点之间的距离,并同时减小具有较大距离的对应关系的置信度。第一项是为了避免在优化第二项时降低所有对应关系的置信度。从而引导软匹配网络更好地学习稀疏对应关系之间的距离和置信度。

bbacbe44-fa05-11ed-90ce-dac502259ad0.png

bbb1ef36-fa05-11ed-90ce-dac502259ad0.png

bbb8eaf2-fa05-11ed-90ce-dac502259ad0.png

Ⅳ实验 4.1 数据集

我们在三个大规模室外LiDAR点云数据集上进行了实验,分别是KITTI里程计数据集[12]、NuScenes数据集[13]和Apollo-SouthBay数据集[14]。对于KITTI数据集和NuScenes数据集,我们使用[8]中提供的点云配对数据进行所提出方法的训练、验证和测试。Apollo-SouthBay数据集是一个包含多种场景的大规模数据集。此数据集最初是用于车辆定位[14],姿态经过精心微调,适合用于点云配准的评估。Apollo-SouthBay数据集提供了官方的训练和测试数据集划分。我们按照[8]的方法,将当前帧与之后的第10帧作为一对点云进行配准。我们还随机抽取了训练数据的20%作为验证集。

4.2 评估指标

我们采用相对平移误差(RTE)与相对旋转误差(RRE)作为我们的评价指标,如下式

bbbf03c4-fa05-11ed-90ce-dac502259ad0.png

其中表示矩阵的迹。我们还计算了配准召回率(registration recall),它定义为成功配准的比例(即RTE和RRE在预定义的阈值内)。按照[8]的方法,我们计算了平均RTE和RRE以及标准差。此外,只有成功配准的配对被包括在此计算中。在所有实验中,平移与旋转的成功的阈值设置为2米和5度。此外,我们也计算了了所有配对的平均RTE和RRE,以进行更全面的比较。

4.3 实验结果

按照[8]的方法,我们将提出的方法与6种代表性的传统配准方法进行比较,包括点对点和点对面的ICP(ICP(P2P)和ICP(P2Pl))[15]、Go-ICP [21]、Fast Global Registration (FGR) [58]、RANSAC [30](使用FCGF [42]作为特征)以及使用FCGF估计的对应关系的TEASER [25]。此外,我们将SDMNet与5种基于学习的方法在KITTI数据集和NuScenes数据集上进行了比较,其中包括两种对象级别的配准方法(Deep Closest Point (DCP) [4]和IDAM [37]),两种室内点云配准方法(Feature-metric registration (FMR) [36]和Deep Global Registration (DGR) [6]),以及最先进的LiDAR点云配准网络HRegNet [8]。

图4为召回率随不同的RRE与RTE阈值的变化情况,可以看出本文的模型SDMNet在极小的阈值下就能得到很高的成功率,且在任何阈值下的成功率均达到了最优。表1展示了不同配准算法在KITTI与NuScenes数据集上的性能。可见,与之前的最优算法HRegNet相比,SDMNet在KITTI数据集上实现了超过20%的RTE降低,10%的RRE降低,并且具有更高的配准召回率。此外,由于我们高效的稀疏到稠密匹配方案,所提出的方法在推理速度上实现了可比或甚至更快的速度,与HRegNet相当。

bbc5ceac-fa05-11ed-90ce-dac502259ad0.png

bbcaf17a-fa05-11ed-90ce-dac502259ad0.png

bbd52f5a-fa05-11ed-90ce-dac502259ad0.png

图4 配准召回率。在KITTI与NuScenes数据集设置不同的RRE与RTE阈值得到不同模型对应的召回率 表1 配准算法在KITTI与NuScenes数据集上的性能

bbdb44f8-fa05-11ed-90ce-dac502259ad0.png

在Apollo-SouthBay数据集上,我们根据表格1将提出的SDMNet与两种最佳手工设计方法(即RANSAC和TEASER)以及两种基于学习的基准方法(即HRegNet和DGR)进行了比较。我们重新在Apollo-SouthBay数据集上对这两个网络进行了训练,结果显示在表格2和图5中。与之前表现最佳的方法HRegNet相比,SDMNet在推理速度方面表现相当,并且在RTE和RRE方面减少了约14%和27%,并且具有更高的配准召回率,这证明了所提出方法的高配准精度和效率。

表2 配准算法在Apollo-SouthBay数据集上的性能

bbe4a64c-fa05-11ed-90ce-dac502259ad0.png

4.4 消融实验

我们进行了丰富的消融实验,以分析所提出的SDMNet的不同模块和参数。所有的消融实验都是在[8]提供的KITTI数据集上进行的。

(1)对稀疏点数量消融:表3结果显示采样的稀疏点数量 S 显然会影响配准性能。直观上,采样更多的点可以覆盖更广的点云,从而提高鲁棒性和准确性。然而,更多的采样点也会导致效率降低。

表3 对稀疏点数量消融实验结果

bbecfb12-fa05-11ed-90ce-dac502259ad0.png

(2)对软匹配网络消融:我们进行实验分析软匹配网络的影响。根据表5的结果,没有软匹配网络时,RTE 增加约5%。需要注意的是,我们设计了一种新颖的概率距离损失来训练软匹配网络,结果显示,没有使用进行训练时,RTE增加约7%,配准召回率也降低。我们还进行了不同候选对应点数量的实验。结果显示,的表现略优于。然而,我们观察到将增加到8会导致性能下降,因为大量错误的候选点会产生负面影响。为了进一步验证有效性,我们计算了带有和不带有软匹配网络的稀疏对应关系的正确匹配点比例。根据图7中显示的结果,使用软匹配网络可以增加该比例,这表明该策略可以恢复一些因简单最近邻搜索而丢失的对应关系。

表4 对软匹配网络消融实验结果

bbf5d08e-fa05-11ed-90ce-dac502259ad0.png

bbfd96ca-fa05-11ed-90ce-dac502259ad0.png

图5 稀疏对应关系的正确匹配点比例,包括使用软匹配网络(SMN)和不使用(w/o)软匹配网络的情况

(3)对局部稠密匹配阶段消融:根据结果,没有局部稠密匹配阶段时,RTE和RRE分别增加约14%和39%,这表明局部稠密匹配阶段对于配准性能的优化作用。此外,由于局部对应关系可以直接从前面的邻域匹配模块导出,局部稠密匹配阶段不会引入很大的计算成本。值得注意的是,即使没有局部稠密匹配阶段,我们的性能仍优于HRegNet。

表5 对局部稠密匹配阶段消融结果。为搜索最近邻的数目。

bc073180-fa05-11ed-90ce-dac502259ad0.png

(4)对邻域一致性特征的消融:为了验证设计的邻域一致性特征的有效性,我们首先重新训练了没有该特征的SDMNet,并在表6中展示了结果。根据结果,在没有该特征的情况下,RTE和RRE分别增加了超过16%和4%。我们还提供了我们SDMNet去除了软匹配网络、邻域一致性特征和局部稠密匹配阶段(即SDMNet)的性能。根据表7的结果,SDMNet在所有指标上优于SDMNet。

表6 对邻域一致性特征的消融结果

bc0ff5fe-fa05-11ed-90ce-dac502259ad0.png

(5)对于优化传输算法的消融研究,我们还使用Sinkhorn算法作为进行实验,以展示在我们的场景中IPOT算法的有效性。根据表8的结果,由于相对于Sinkhorn算法而言,IPOT算法产生了更精确的收敛最优解,因此具有更好的准确性。

表7 Sinkhorn算法与IPOT算法的比较

bc1715fa-fa05-11ed-90ce-dac502259ad0.png

此外,我们还对不同内/外迭代次数的性能进行了分析。根据表8的结果,较少的迭代次数会导致性能较差,因为对齐质量较差。然而,当外部迭代次数达到50时,性能改进就趋于饱和。此外,当将内部迭代次数增加到2时,我们没有观察到明显的改进。考虑到时间成本,我们在最终实现中将设置为1,设置为50。

表8 对IPOT不同内/外迭代次数的性能的比较

bc1bc7d0-fa05-11ed-90ce-dac502259ad0.png

另外,为了更好地说明基于最优传输的对齐的有效性,我们计算了变换前后相邻点的特征距离,统计了内点的对数(即特征距离在距离阈值内的点对数),变换前和变换后记为和。然后,我们计算。根据图6的结果,最优传输显著减小了点对之间的特征距离,表明进行了有效的邻域对齐。

bc250a52-fa05-11ed-90ce-dac502259ad0.png

图6 最优传输后的内点数量与之前的内点数量之比(在不同的特征距离阈值下)

4.5 定性结果可视化

我们在图7中提供了三个数据集上定性点云配准结果的几个样例。第一列和第二列分别显示了稀疏匹配阶段和局部密集匹配阶段估计的对应关系。我们对置信度低于阈值的对应关系进行了过滤,以便更好地展示。根据定性结果,稀疏匹配阶段可以生成可靠的稀疏对应关系,这些对应关系在局部密集匹配阶段进一步稠密化。图7的最后一列显示了配准结果,表明估计的变换可以准确地对齐两个点云。

bc2beebc-fa05-11ed-90ce-dac502259ad0.png

图7 SDMNet的定性可视化。每一行显示一个定性配准结果样本。为了更好地可视化过滤了置信度低于阈值的对应点。蓝色点为源点云,黄色点为目标点云。绿色线为估计的对应关系。 Ⅴ 结论

本文提出了一种基于学习的室外激光雷达点云配准方法,称为SDMNet。该方法采用了一种新的稀疏到稠密匹配方案,很好地结合了稠密匹配的细粒度信息和稀疏匹配的高效性。此外,我们引入了基于最优输运的邻域匹配模块,将邻域一致性融入匹配流程中,显著提高了配准性能。通过对三个大规模室外激光雷达点云数据集进行大量实验,验证了所提方法的准确性、鲁棒性和效率。此外,我们还进行了丰富的消融研究,详细分析了所提出的SDMNet不同组件和参数的影响。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机视觉
    +关注

    关注

    8

    文章

    1600

    浏览量

    45615
  • 激光雷达
    +关注

    关注

    961

    文章

    3654

    浏览量

    186674
  • 数据集
    +关注

    关注

    4

    文章

    1178

    浏览量

    24349

原文标题:SDMNet:大规模激光雷达点云配准的稀疏到稠密匹配网络

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    激光雷达是自动驾驶不可或缺的传感器

    看到这种低成本的激光雷达,从研发、样品商用,可能会比原来预想的周期更快。因为不是一家激光雷达公司在努力,而是整个产业链都在努力。是在同
    发表于 09-08 17:24

    常见激光雷达种类

    单线激光雷达特点:结构简单、扫描速度快、分辨率高、可靠性高、成本低。单线激光雷达实际上就是一个高同频激光脉冲扫描仪,加上一个一维旋转扫描。单线激光雷达虽然原理简单但是可以有效、高频的测
    发表于 09-25 11:30

    激光雷达面临的机遇与挑战

    机遇激光雷达在智能机器生态系统中有很多机遇。与使用二维图像相比,能够更容易的被计算机使用,用于构建物理环境的三维形象——二维图像是人脑最容易理解的数据,而对于计算机来说,
    发表于 09-26 14:30

    消费级激光雷达的起航

    激光雷达仍各有其弊端:机械旋转式单线雷达无法探测低矮障碍物,稳定性受旋转部件影响,同时工业市场长期被国外激光雷达品牌把控,成本居高不下;多点(7-11)拼接式
    发表于 12-07 14:47

    固态激光雷达

    `我们已经对单线激光雷达司空见惯,其旋转线扫的测量方式导致造成寿命问题和价格居高不下。 因此,北醒研发了CE30,它是一款具有大视场角的固态激光雷达。它可同时输出132°水平视场、9度垂直视场范围内
    发表于 01-04 10:18

    激光雷达

    `我们已经对单线激光雷达司空见惯,其旋转线扫的测量方式导致造成寿命问题和价格居高不下。 因此,北醒研发了CE30,它是一款具有大视场角的固态激光雷达。它可同时输出132°水平视场、9度垂直视场范围内
    发表于 01-11 09:21

    北醒固态设计激光雷达

    线的固态激光雷达将在今年的第三季度进入大规模的量产发货阶段。但即使还是在样品阶段,LR30的展出已经体现了北醒对于产品应用的细致考虑,本次CES展出的两台LR30,共同覆盖了北醒展位前的全景以及
    发表于 01-25 09:36

    北醒固态激光雷达

    线的固态激光雷达将在今年的第三季度进入大规模的量产发货阶段。但即使还是在样品阶段,LR30的展出已经体现了北醒对于产品应用的细致考虑,本次CES展出的两台LR30,共同覆盖了北醒展位前的全景以及
    发表于 01-25 09:38

    固态设计激光雷达

    线的固态激光雷达将在今年的第三季度进入大规模的量产发货阶段。但即使还是在样品阶段,LR30的展出已经体现了北醒对于产品应用的细致考虑,本次CES展出的两台LR30,共同覆盖了北醒展位前的全景以及
    发表于 01-25 09:41

    北醒固态激光雷达,欢迎坛友看看

    的固态激光雷达将在今年的第三季度进入大规模的量产发货阶段。但即使还是在样品阶段,LR30的展出已经体现了北醒对于产品应用的细致考虑,本次CES展出的两台LR30,共同覆盖了北醒展位前的全景以及其他展位
    发表于 01-26 09:19

    激光雷达除了可以激光测距外,还可以怎么应用?

    简单的3D雷达,获取三维数据呢?目前市面上主流的有2种方式:1、采用线状激光器,将原先的一个变成一条线型光;2、使用一个2D激光雷达扫描,同时在另一个轴进行旋转,从而扫描出3D信息;
    发表于 05-11 15:33

    【北醒TFmini-S 测距/避障激光雷达传感器免费试用连载】基于FPGA平台的YOLO-Complex数据加速

    )/显示控制等内容。目前正在研究项目是基于FPGA ZCU102平台的算法开发(YOLO-Complex),希望借助北醒TFmini-S 测距/避障激光雷达传感器可以进行特定场景的
    发表于 05-28 17:32

    激光雷达知多少:从技术上讲讲未来前景

    激光雷达产业迅速扩大。 地基激光雷达 地基激光雷达可以获取林区的3D信息,利用
    发表于 07-14 07:56

    激光雷达

    想了解行业国内做固态激光雷达的厂家,激光雷达里面是怎么样的啊
    发表于 01-17 15:29

    激光雷达数据分割算法的嵌入式平台上的部署实现

    点击上方“AI算法修炼营”,选择“星标”公众号精选作品,第一时间送达这篇文章是激光雷达数据分割算法的嵌入式平台上的部署实现。主要的创新有两
    发表于 12-21 08:28