0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

一文带你了解水下目标检测方法

中科院长春光机所 来源:AI约读社 作者:南山 2021-05-11 15:43 次阅读

水下目标检测旨在对水下场景中的物体进行定位和识别。这项研究由于在海洋学、水下导航等领域的广泛应用而引起了持续的关注。但是,由于复杂的水下环境和光照条件,这仍然是一项艰巨的任务。因此近年来有多个赛事与水下目标检测相关,如近期正在进行的2021全国水下机器人大赛,接下来我们将介绍在水下目标检测领域的深度学习方法概述。

01 水下目标检测的关键问题

1.1 水下图片模糊

在水下场景中,由于光照影响大大降低了水下图像的质量,从而导致了可见度损失,弱对比度和纹理失真,颜色变化等问题(如下图所示),并且在水下场景中环境复杂,这导致水下目标检测更加困难。

1.2 小目标检测

水下环境中的目标物体通常很小,如:海胆,扇贝,海参等,而当前基于深度学习的目标检测器通常无法有效地检测小物体,或者对小目标物体的检测性能较差。

02 水下目标检测的深度学习方法

缓解水下图片模糊主要是通过对水下图片进行增强,去噪,复原等方法,对于小目标检测的问题可以通过数据扩增和改进网络的方式来缓解,接下来我们将介绍近年来解决水下目标检测问题的深度学习方法。

Underwater object detection using Invert Multi-Class Adaboost with deep learning

论文链接: https://arxiv.org/pdf/2005.11552.pdf

代码链接: https://github.com/LongChenCV/SWIPENet

主要方法:文中提出了一种用于水下目标小样本检测的SWIPENet,网络中提出了一种样本重加权算法IMA(Invert Multi-Class Adaboost),IMA会减少missed objects(丢失对象)的权重,以减少这些“干扰”样本的影响。并且在SWIPENet中引入了具有RELU的空洞卷积层(dilated conv)它们可以在不牺牲特征图分辨率的情况下获得大的接受区域。

IMA算法:首先顺序训练多个基本分类器,并根据其错误率Em分配权重值α。然后,将由前面的分类器分类错误的样本分配较高的权重,从而使后面的分类器专注于学习这些样本。最后,将所有弱基础分类器组合在一起,形成具有相应权重的整体分类器。IMA还训练了M次SWIPENet,然后将它们整合为一个统一模型。不同的是,在每次训练迭代中,IMA都会减少丢失对象的权重,以减少这些“干扰”样本的影响。

实验结果:达到URPC 2017的冠军结果,45.0map,冠军为45.1map。

SWIPENet的网络结构图:

a9eac9ea8cf199bbb172cf93a3e4af1e.png

RoIMix: Proposal-Fusion among Multiple Images for Underwater Object Detection

论文链接: https://arxiv.org/abs/1911.03029

主要方法:URPC 2019水下目标检测竞赛冠军方案:多图像融合增强,针对水下场景重叠和遮挡(水下生物喜欢聚在一起)、模糊(水中沉淀物导致)的问题,提出一种基于候选框融合的图像增强方法,以生成模拟重叠、遮挡、模糊的训练样本,从而提高模型的mAP和鲁棒性。RoIMix算法使用RPN产生ROI,并以随机的比例混合它们。该比例是根据Beta分布产生的,然后,使用混合样本来训练模型。

下图中:

即为用RoIMix图像增强方法生成的模拟遮挡+模糊的训练样本

37774c1baa43b3988c2ac0652ac20fce.png

RoIMix的网络结构图:

f811e961dfa9d36eee8d64385f5ab168.png

实验结果:达到URPC 2019的冠军方案,ROIMIX和BaseLine之间的最大性能差异为9.05%个mAP值。

64fe95b1ccc749e825ee78870287804c.png

An Underwater Image Enhancement Benchmark Dataset and Beyond

论文链接: https://arxiv.org/abs/1901.05495v1

代码链接: https://github.com/Li-Chongyi/Water-Net_Code

主要方法:文中提出了一个新的具有950张水下图片的数据集UIEBD,包含各个水下场景,以及水下各种特征退化(光线不足、雾)的情况,用数据集UIEBD对12种现阶段主流的水下图片增强算法进行评测和验证。并且提出基于fusion的水下图片增强模型DuwieNet。

12种水下数据扩增方法比较:

e67ca5ee5b83dda1b58c54d7b5f81c39.png

DUIENet: 基于所构建的UIEBD数据集,作者提出了一种用于水下图像增强的CNN模型,称为DuwieNet。DuwieNet是—种门控融合网络,它将输入与预测的置信度图融合以获得增强的结果。首先通过FTUs将输入转换为精确的输入,然后预测置信度图。最后,将改进后的输入与相应的置信度图进行融合,得到增强后的结果。其结构图如下所示:

3828ca8763450ac09b3d1df3760d6afa.png

实验结果:

bf8e62de37ac3676a64fcf02fb62a9e6.png

03 水下目标检测比赛的开源方案

在去年的2020年全国水下机器人(湛江)大赛水下目标检测比赛众多,部分选手公开了他们的参赛方案,他们在比赛中的经验这对我们研究水下目标检测具有很大的参考价值,下面我根据使用的检测框架进行分类,简单介绍其中的几个开源方案

3.1 mmdection

和鲸社区Kesci 水下目标检测算法赛(光学图像赛项)三等奖 单模方案

代码链接:https://github.com/milleniums/underwater-object-detection-mmdetection

方法简述:

使用两阶段检测框架,保证精度要求;

使用FPN,增强小目标的检测效果;

使用Mixup、旋转等无损的数据增强技术,减轻网络过拟合,并提升模型泛化能力;

使用多尺度训练与预测,适应图片分辨率差异,可以让参与训练的目标大小分布更加均衡,使模型对目标大小具有一定的鲁棒性;

参考ResNet论文,使用Global Context ROI为每个候选框添加上下文信息,充分利用数据分布特点,提升了检测精度。

消融实验:

3d3ae374fcfc24ea838d09979c2f1c9e.png

和鲸社区Kesci 水下目标检测算法赛(光学图像赛项)30(A榜) / 31(B榜)

代码链接: https://github.com/Wakinguup/Underwater_detection

方法简述:

1、数据增强:

采用Mixup、实例平衡增强、模糊(Median Blur和 Motion Blur)、Retinex、泊松融合、标签平滑。

2、模型框架:mmdetection代码库中的Cascade R-CNN模型,其中backbone是ResNeXt101-64x4d (64是基数Cardinality,X101的一个block的group数量。而4d是指bottleneck的宽度)。模型同时也搭配了FPN[3],增强模型对小目标的检测能力。

3.2 EfficientDet

EfficientDet训练水下目标检测数据集

代码链接: https://github.com/DataXujing/EfficientDet_pytorch

方法简述:

这个使用EfficientDet进行水下目标检测,仅是baseline无任何tricks,Step by Step演示如何训练最近开源的相对SOTA的Pytorch版的EfficientDet的训练,评估,推断的过程。像paper中提到的一样,我们并没有使用任何数据增强或模型融合等后处理的trick来提高模型的精度,如果你想增加数据增强的策略可以在efficientdet/dataset.py中实现;

3.3 YOLOV5

我们团队这次也参加了2021年全国水下机器人(湛江)大赛,为大家开源了YOLOV5检测的baseline

代码:https://github.com/wangdongdut/Underwater-Object-Detection

04 总结

水下目标检测目前任然还是一个具有挑战的领域, 相比于传统图像处理方法分多个步骤和环节处理检测任务, 基于深度学习的方法将其统一为端到端的特征提取和分类。虽然水下目标检测技术已经不断地从学术研究走向成熟的工业应用, 但是依然有一些需要解决的问题。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    206

    文章

    26831

    浏览量

    201033
  • 数据
    +关注

    关注

    8

    文章

    6504

    浏览量

    87448
  • 目标检测
    +关注

    关注

    0

    文章

    185

    浏览量

    15431

原文标题:一文梳理水下目标检测方法

文章出处:【微信号:cas-ciomp,微信公众号:中科院长春光机所】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    带你了解PWM原理、频率与占空比

    什么是PWM脉冲宽度调制(PWM),是英文“Pulse Width Modulation”的缩写,简称脉宽调制,是利用微处理器的数字输出来对模拟电路进行控制的种非常有效的技术,广泛应用在从测量
    发表于 03-27 14:12

    AI驱动的雷达目标检测:前沿技术与实现策略

    传统的雷达目标检测方法,主要围绕雷达回波信号的统计特性进行建模,进而在噪声和杂波的背景下对目标存在与否进行判决,常用的典型算法如似然比检测
    发表于 03-01 12:26 225次阅读
    AI驱动的雷达<b class='flag-5'>目标</b><b class='flag-5'>检测</b>:前沿技术与实现策略

    带你了解FPGA直方图操作

    直方图概念和分类 图像直方图用作数字图像中色调分布的图形表示。它绘制了每个色调值的像素数。通过查看特定图像的直方图,观看者将能够目了然地判断整个色调分布。 图表的水平轴代表色调变化,而垂直轴代表该
    发表于 01-10 15:07

    水下GPS定位的系统组成和定位原理

    水下GPS定位技术集水声定位、卫星导航定位、高精度时钟和水下通讯等技术于一体,实现海上测量点(浮标)位置的精确定位“,既解决了传统水声定位技术无法获得目标绝对坐标的难题,又使广泛应用于地面和海面的GPS定位技术能够进行
    发表于 10-19 15:39 0次下载
    <b class='flag-5'>水下</b>GPS定位的系统组成和定位原理

    快乐解说MCU:三分钟,带你了解低功耗MCU

    快乐解说MCU:三分钟,带你了解低功耗MCU
    的头像 发表于 09-18 10:56 755次阅读

    MATLAB的行人目标检测方法有哪些?

    MATLAB的行人目标检测方法有哪些,就是主要的方法,基于背景的,基于目标的,还有其他的。都有哪些?
    发表于 08-23 16:30

    基于飞秒激光频率梳的高精度水下声速测量方法

    功率放大器基于飞秒激光频率梳的高精度水下声速测量方法
    发表于 08-03 14:40 1次下载

    目标检测EDA方法有哪些 eda和pcb的区别

    目标检测(Object Detection)是计算机视觉领域中的重要任务,用于在图像或视频中定位和识别出多个感兴趣的对象。EDA(Enhancement, Detection, and Augmentation)方法是一种综合的
    发表于 07-20 14:43 855次阅读

    无Anchor的目标检测算法边框回归策略

    R-CNN的边框回归策略。  写在前面 目标检测包括目标分类和目标定位2个任务,目标定位一般是用一个矩形的边界框来框出物体所在的位置,关于
    的头像 发表于 07-17 11:17 565次阅读
    无Anchor的<b class='flag-5'>目标</b><b class='flag-5'>检测</b>算法边框回归策略

    目标检测多模型集成方法总结

    模型集成是一种提升模型能力的常用方法,但通常也会带来推理时间的增加,在物体检测上效果如何,可以看看。
    的头像 发表于 06-07 17:39 724次阅读
    <b class='flag-5'>目标</b><b class='flag-5'>检测</b>多模型集成<b class='flag-5'>方法</b>总结

    目标检测的相关知识

    目标检测共有以下四个核心问题:(1)目标可能出现在图像的任何位置;(2)目标有各种不同的大小;(3)目标有各种不同的形状;(4)光照、遮挡等
    的头像 发表于 05-22 09:43 786次阅读
    <b class='flag-5'>目标</b><b class='flag-5'>检测</b>的相关知识

    利用TRansformer进行端到端的目标检测及跟踪

    目标跟踪(MOT)任务的关键挑战是跟踪目标下的时间建模。现存的用检测跟踪的方法采用简单的heuristics,如空间或外观相似性。
    的头像 发表于 04-18 09:12 657次阅读

    HAS 2023|一张图带你了解Net5.5G

    点击“阅读原文”,了解更多大会信息! 原文标题:HAS 2023|一张图带你了解Net5.5G 文章出处:【微信公众号:华为数据通信】欢迎添加关注!文章转载请注明出处。
    的头像 发表于 04-14 21:10 471次阅读
    HAS 2023|一张图<b class='flag-5'>带你</b><b class='flag-5'>了解</b>Net5.5G

    运动目标检测算法简介及其应用

    运动目标检测的主要目的是从图片序列中将变化区域或者运动物体从背景图像中分离出来,常用于视频监控、异常检测、三维重建、实时定位与建图等领域。运动目标
    的头像 发表于 04-10 16:42 492次阅读

    一文带你了解氨气检测

    氨气检测仪主要是检测大气环境中氨浓度的电子仪器。它非常便携,可以随身携带。当检测到环境中氨浓度达到或超过预设报警值时,氨探测器会发出光控和振动报警信号。广泛应用于各类冷库、氨实验室、氨储存仓库
    发表于 04-03 14:08 455次阅读