0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于深度学习的方法在处理3D点云进行缺陷分类应用

3D视觉工坊 来源:3D视觉工坊 2024-02-22 16:16 次阅读

作者:Anju Rani, Daniel Ortiz-Arroyo等

作者机构:Department of Energy, Aalborg University

近年来,3D点云在各个领域的应用日益广泛,尤其在计算机视觉、状态监测、虚拟现实、机器人技术和自动驾驶方面。深度学习已经被证明是利用3D点云解决2D视觉挑战的有效方法。然而,将深度神经网络应用于处理3D点云也面临着挑战。为了解决这些挑战,研究人员提出了许多方法。本文深入审视了最近基于深度学习的利用3D点云进行条件监测的进展,特别关注工业应用中的缺陷形状分类和分割。认识到这些方面在工业维护中的关键作用,本文提供了对审查的基于深度学习的点云处理方法的优势和局限性的深刻观察。这种知识综合旨在为工业系统中的条件监测过程,特别是在剩余寿命框架内的改进和理解做出贡献。

db66bdee-d10e-11ee-a297-92fbcf53809c.png

读者理解:

这篇文章主要讨论了近年来基于深度学习的方法在处理3D点云(PCs)进行缺陷分类和分割方面的应用。文章指出了基于投影和基于体积的方法在处理3D点云时面临的挑战,以及稀疏卷积方法可能是一种有前途的解决方案。此外,文章还提到了基于点的网络在处理邻域信息和不平衡数据方面存在挑战,需要进一步研究新技术。领域自适应和迁移学习被认为可以解决标记数据不足的问题。另外,实例分割在工业系统中缺陷检测方面具有挑战性和前景。文章强调了工业系统内缺陷估计的数据集匮乏问题,呼吁收集更多更好的数据集来评估和改进PC分类方法的效果。总体而言,这篇文章对当前3D点云缺陷分类和分割领域的研究现状进行了较为全面的总结和展望。

1 引言

本文引言介绍了条件监测(CM)在确保结构物长期使用和正确维护中的重要性,并指出传统的二维图像在提供深度信息和相对物体位置方面存在局限性。随着3D采集技术的发展,包括深度传感器和3D扫描仪,可以更好地提取详细的3D信息。利用3D数据相比传统的2D图像可以更好地理解对象。近年来,研究人员越来越关注利用3D扫描的对象在工业应用中进行缺陷检测和分割。点云表示以在3D空间中保留原始几何特征而脱颖而出,使其成为许多应用中的首选选择。然而,将深度学习应用于3D点云数据具有独特的挑战。本文综述了最新的深度学习方法应用于3D点云数据,特别强调它们在工业环境中的应用。通过解剖基本方法和最新进展,本文超越了以往,特别关注工业应用中CM要求的3D形状分类和分割。综述涵盖了传统和创新方法,揭示了处理工业环境中的3D点云数据的固有挑战和潜在解决方案。此外,还提供了用于3D点云特征学习的现有深度学习方法的详细总结,概述了它们各自的优点和缺点。综述的结构安排包括讨论现有数据集和评估指标、DL方法用于3D形状分类、对现有的3D点云分割方法进行广泛调查,以及综合见解和未来研究方向的概述。

db85bb54-d10e-11ee-a297-92fbcf53809c.png

2 背景

背景部分介绍了3D点云应用领域中公开可访问的数据集的重要性,这些数据集对于分析和比较各种模型至关重要。研究人员专门设计了各种数据集,包括用于3D形状分类、3D物体检测和3D点云分割等任务的数据集。这些数据集分为真实世界和合成数据集两类,前者包含不同程度的遮挡和背景噪声,而后者则提供了一个受控环境进行实验。此外,介绍了在文献中用于评估基于深度学习的3D点云处理任务性能的不同评估指标,包括整体精度(OA)、平均类别精度(mAcc)、平均交集联合(mIoU)和平均平均精度(mAP)。这些指标提供了对深度学习模型在不同3D点云处理任务中表现的量化评估。选择合适的指标取决于特定任务和所需评估性能方面的要求。

db97d438-d10e-11ee-a297-92fbcf53809c.png

3 三维形状分类的深度学习

在3D形状分类的深度学习方法中,主要有两类方法:投影方法和直接点云方法。投影方法包括多视角和体积图像方法,利用2D图像处理技术进行分类。直接点云方法则直接处理输入的点云数据以生成稀疏表示。投影方法又分为Multi-View Based Methods和Volumetric-Based Methods两种。

Multi-View Based Methods通过多视角捕获3D形状的投影,并从每个视角独立提取特征,然后将这些特征融合以准确分类形状。这种方法的代表是Multi-View CNN (MVCNN),它从不同视角捕获3D形状,并通过CNN从每个视角独立提取特征。另一种方法是Group-View CNN (GVCNN),它在池化过程中将分组和单个视角信息结合起来,展现出与MVCNN相比更高的准确性。

Volumetric-Based Methods将3D形状表示为3D体素网格,使用3D体素卷积,其中每个体素表示3D空间中的一个点是否被对象占据。这种方法的代表是VoxNet,它将3D点云数据与3D CNN结合起来处理。另一种方法是Octree-based CNN (O-CNN),它通过使用一组不平衡八叉树对3D点云数据进行分层分区,实现了对相关区域的内存分配,从而使得可以使用具有高分辨率的深度网络。

直接点云方法将输入的点云数据进行处理以生成稀疏表示。这些方法分为点级MLP、基于卷积的和基于图的方法。点级MLP方法通过共享的MLP处理每个点,然后通过对称聚合函数对局部特征进行聚合以获得全局特征。其中的代表是PointNet和PointNet++,它们分别通过处理每个点并通过max-pooling层进行全局特征提取,或者通过引入分层结构以捕获更细的几何结构。

基于卷积的方法使用卷积操作处理3D点云数据。其中,PointCNN通过学习X变换和排列输入点特征的权重来解决无序结构的问题,EdgeConv层则用于从每个点及其邻居中提取边缘特征。而ConvPoint引入了一个密集的加权函数来定义详细和自适应的卷积核。

图形方法将点云转换为全面的图,避免了需要体素化的问题。这些方法利用图中点之间的复杂关系,表示点云中的每个点为图中的一个顶点,边连接在附近的点之间,以分析空间关系,从而创建一个包含原始点云几何特征的图。

dba534fc-d10e-11ee-a297-92fbcf53809c.png

dbc71f7c-d10e-11ee-a297-92fbcf53809c.png

4 3D PC分割的深度学习

3D点云分割任务需要对点云数据中的几何结构和细节进行全面理解。根据对象的概念级别,点云分割可以分为三类:

语义分割(场景级):将点云中的每个点分类到预定义的类别中,实现高层次的场景理解。

实例分割(对象级):识别并区分点云中的每个对象,区分相同语义类中的不同对象实例。

部件分割(部件级):将每个对象细分为不同的部件,提供对象层次更详细的分割。

这三种分割类别对应不同程度的抽象,从场景级上下文到对象识别和细粒度部件分割。

深度学习为点云分割提供了许多有效方法,主要包括基于投影、直接点云、基于图卷积神经网络等方式。其中,语义分割方法包括投影法、直接点云法等;实例分割包含基于提议和无提议两类;部件分割面临对象形状和部件边界不明确的困难。表3汇总了使用深度学习进行工业系统缺陷分割的结果。

dbd740be-d10e-11ee-a297-92fbcf53809c.png

dbebd54c-d10e-11ee-a297-92fbcf53809c.png

dc061a10-d10e-11ee-a297-92fbcf53809c.png

dc33e35a-d10e-11ee-a297-92fbcf53809c.png

5 总结

这篇论文全面调研和讨论了近年来基于深度学习的点云分类和分割方法。引言部分概述了点云及其应用的重要性,突出了处理这种独特数据形式所面临的挑战。论文全面讨论了用于对象分类和分割的公开可用的3D点云数据集。综述论文涵盖了各种基于深度学习的方法,将其分类为基于视图的方法、基于体积的方法和直接点云方法。论文对这些现有方法的性能进行了比较,提供了对其在工业系统中优势和局限性的见解。最后,讨论部分探讨了该领域的前景和潜在研究方向,有助于全面了解基于深度学习的点云分析的进展和挑战。点云分类和分割方法在各种实际场景中都有应用,包括室内环境、道路、铁路、建筑等。然而,这些场景的多样性使得确定大量点云分类方法的具体优势存在挑战。因此,研究人员面临着选择与特定场景要求相符的分类算法的任务,强调了需要适应实际条件的重要性。正如前文所述,这一挑战进一步强调了适当数据集的稀缺性的问题。研究人员需要根据场景的特定特征选择适当的分类算法的必要性突显了该领域数据集短缺问题的持续性。这指向了扩大和多样化数据集的重要性,以更好地评估和改进点云分类方法在不同实际场景中的有效性。

dc4afb76-d10e-11ee-a297-92fbcf53809c.png

审核编辑:黄飞

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    206

    文章

    26983

    浏览量

    201320
  • 缺陷检测
    +关注

    关注

    2

    文章

    130

    浏览量

    12053
  • 数据集
    +关注

    关注

    4

    文章

    1177

    浏览量

    24341
  • 自动驾驶
    +关注

    关注

    773

    文章

    13005

    浏览量

    163146
  • 深度学习
    +关注

    关注

    73

    文章

    5226

    浏览量

    119873

原文标题:最新工业基于点云的3D缺陷检测和分类综述

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    3D扫描的结构光

    采集为一个由X,Y和Z坐标(表示物体外部表面)组成的。对于一个3D扫描的分析可以确定被扫描物体的表面积、体积、表面形状、外形和特征尺寸。 一个3D扫描仪需要一个探针来确定到物体表面
    发表于 08-30 14:51

    如何同时获取2d图像序列和相应的3d

    如何同时获取2d图像序列和相应的3d?以上来自于谷歌翻译以下为原文How to obtain the sequence of 2d im
    发表于 11-13 11:25

    3D TOF深度剖析

    这段时间以来,最热的话题莫过于iPhone X的Face ID,关于用它刷脸的段子更是满天飞。其实iPhone X 实现3D视觉刷脸是采用了深度机器视觉技术(亦称3D机器视觉)。由于iPhone X的推动,
    发表于 07-25 07:05

    如何制作逼真的3D PCB模型和进行3D设计检查

    ,解决更对偏移的问题。 (3)将封装和STEP模型进行匹配完成以后,对应的名称会显示出来。 (4)以此方法,匹配所有的元件模型文件完成以后,选择3DVIEW功能,开启
    发表于 07-06 16:26

    一种先分割后分类的两阶段同步端到端缺陷检测方法

    作者:SFXiang首发:AI算法修炼营本文是一种端到端的先分割后分类的表面缺陷检测方法。主要的创新点在于如何将两类任务更好地进行同步学习
    发表于 07-24 11:01

    PYNQ框架下如何快速完成3D数据重建

    计时。对于作者定制的3D到2D投影算法,又设计了一个覆盖层来加速乘法累加(MAC)操作,然后通过Jupyter笔记本PYNQ板上进行测试。未来将为视频输入设计自定义覆盖,以加速视差图
    发表于 01-07 17:25

    labview+yolov4+tensorflow+openvion深度学习

    我们通过传统算法无法量化,或者说很难去做到的, 深度学习可以搞定。特别是图像分类, 目标检测这些问题上取得了显著的提升。下图是近几年来深度
    发表于 05-10 22:33

    基于深度学习3D图像处理的精密加工件外观缺陷检测系统

    四:丰富的2D/3D图像软硬件接口,配合被测金属五金加工件的形状、轮廓精度拥有丰富的成像硬件、运动机构以及执行机构的选择。 基于深度学习
    发表于 03-08 13:59

    面向3D机器视觉应用并采用DLP技术的精确生成参考设计

    3D 。高度差异化 3D 机器视觉系统利用 DLP® LightCrafter™ 4500 估模块 (EVM)(采用 DLP® 0.45 英寸 WXGA 芯片组),能够灵活控制工
    发表于 09-22 10:20

    使用结构光的3D扫描介绍

    控制、医疗、牙科和原型设计。 3D扫描是提取一个物体的表面和物理测量,并用数字的方式将其表示出来。这些数据被采集为一个由X,Y和Z坐标(表示物体外部表面)组成的。对于一个3D扫描的
    发表于 11-16 07:48

    什么是深度学习?使用FPGA进行深度学习的好处?

    上述分类之外,还被用于多项任务(下面显示了四个示例)。 FPGA 上进行深度学习的好处我们已经提到,许多服务和技术都使用
    发表于 02-17 16:56

    光学3D表面轮廓仪可以测金属吗?

    测量金属制品的长度、宽度、高度等维度参数。 除了测量金属表面的形状和轮廓外,光学3D表面轮廓仪还可以生成三维数据和色彩图像,用于进一步分析和展示: 1、三维
    发表于 08-21 13:41

    采用深度学习对自然语言处理进行分类

    深度学习对自然语言处理(NLP)进行分类
    的头像 发表于 11-05 06:51 2988次阅读

    基于深度学习的小样本墙壁缺陷目标检测及分类

    近年来,无需人工干预的深度学习已经成为缺陷图像检测与分类的一种主流方法。本文针对室内墙壁缺 陷缺检测中数据集大多是小样本的问题,提出了相关
    发表于 04-24 09:44 1次下载

    使用深度学习方法对音乐流派进行分类

    电子发烧友网站提供《使用深度学习方法对音乐流派进行分类.zip》资料免费下载
    发表于 02-08 10:02 1次下载
    使用<b class='flag-5'>深度</b><b class='flag-5'>学习方法</b>对音乐流派<b class='flag-5'>进行</b><b class='flag-5'>分类</b>