基于LiDAR的行人重识别的研究分析

作者：戴沐白 

行人重识别是指在大规模场景中对未经脚本的行人进行身份识别，每个身份的样本数量往往很少，这通常需要多个采集设备。我们的研究利用低成本的LiDAR解决行人重识别的挑战。我们构建了LReID数据集，这是第一个基于LiDAR的行人重识别数据集，用于促进利用LiDAR点云进行行人重识别的研究。

2、研究内容

基于激光雷达（LiDAR）的行人重识别。我们利用低成本的LiDAR设备解决了人员再识别中的挑战，构建了名为LReID的LiDAR数据集，并提出了一种名为ReID3D的LiDAR-based ReID框架。

3、创新

主要体现在以下几个方面：

首次提出了基于LiDAR的人员再识别（ReID）方法

构建了第一个LiDAR-based ReID数据集（LReID）

提出了LiDAR-based ReID框架（ReID3D）

4、方法

提出了一种基于LiDAR的行人重识别方法，称为ReID3D。该方法利用预训练来引导图形增强编码器（GCEE）提取全面的3D内在特征。

图1

ReID3D采用多任务预训练来引导编码器学习基于LReID-sync的3D人体特征，如上图1所示。ReID3D的ReID网络由基于图的互补增强编码器（GCEE）、互补特征提取器（CFE）和时间模块组成，如下图2所示。预训练的GCEE用于初始化ReID网络。

图2

基于我们的观察，可能影响ReID模型性能的关键因素是（1）在跨视图设置下，不同视角导致的信息变化，以及（2）来自单视图的不完整信息。此外，真实数据的收集和注释涉及显著的成本，而模拟数据成本低廉，并且具有丰富和准确的注释。因此，我们利用模拟数据对编码器进行预训练，用于点云完成和SMPL参数学习的任务。我们提出的预训练方法的整体思路如图1所示。

5、数学原理

在这篇文章中，有几个数学公式被用来描述算法和模型的工作原理。

第一个公式是关于点云完成任务的。它表示了通过编码器将输入的点云转换为潜在向量，然后通过解码器基于来预测完整的点云。公式如下：

第二个公式是关于学习人体特征的。它表示了通过将潜在向量输入到一个多层感知机（MLP）网络中，将转换为预测的形状参数。公式如下：

第三个公式是关于点云完成任务的损失函数。它使用Chamfer距离（CD）作为预测点云和真实点云之间的差异度量。公式如下：

第四个公式是关于学习形状参数的损失函数。它使用均方误差（MSE）作为预测形状参数和真实形状参数之间的差异度量。公式如下：

这些公式用于描述算法和模型的训练过程和损失函数，以及从点云中提取特征的方法。

6、实验方法与结果

本研究采用了两种实验方法：LReID和LReID-sync

LReID实验方法：

数据集划分：LReID数据集分为训练集和测试集，训练集包含220个身份，测试集包含剩余的100个身份。测试集中有30个身份在低光条件下采集，而70个身份在正常光照条件下采集。

查询和画廊集：在测试集中，选择每个身份的一个样本作为查询集，将其他样本作为画廊集。

评估指标：使用累积匹配特征（CMC）和平均精度（mAP）作为评估指标，与基于摄像头的数据集一致。

LReID-sync实验方法

数据集生成：使用Unity3D软件生成LReID-sync数据集，模拟了多个视角的多个同步LiDAR捕捉到的场景中的行人。数据集包括了点云的完整视图和单个视图之间的补全注释，以及SMPL参数。

数据集特点：LReID-sync包含了600个行人的点云数据，每个行人展示了不同的动作、独特的身体形状和步态，确保了数据集的多样性。

预训练：使用LReID-sync数据集进行预训练，引导编码器学习3D身体特征。

评估指标：与LReID相同，使用CMC和mAP作为评估指标。

7、还有那些改进？

算法改进：可以进一步改进LiDAR-based ReID算法，提高人物识别的准确性和鲁棒性。

数据集扩充：可以进一步扩充LiDAR-based ReID数据集，增加更多的场景、季节和光照条件的样本。

多模态融合：可以将LiDAR数据与其他传感器数据（如RGB图像、红外图像等）进行融合，以提高人物识别的准确性和鲁棒性。

实时性能优化：可以进一步优化LiDAR-based ReID算法的实时性能，以适应实际应用场景中的实时需求。

跨数据集泛化：可以将LiDAR-based ReID算法在其他数据集上进行验证和评估，以验证其在不同数据集和场景下的泛化能力。

8、结论

本研究是第一个关于基于LiDAR的行人重识别的研究，证明了在具有挑战性的真实世界室外场景中利用LiDAR进行人员再识别的可行性。

审核编辑：黄飞