0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

研究人员提出了一种多尺度高效率的新模型FAMED-Net

nlfO_thejiangme 来源:lq 2019-08-02 15:08 次阅读

空气质量对于照片的图像质量有着很大的影响,不仅是北方的雾霾让相机无法看清世界,高山海边的浓雾也会遮挡相机探索世界的好奇眼睛。这些天气状况会造成图像对比对下降、模糊和噪声,不仅大大削弱了图像的观感,同时也为高级机器视觉任务造成了很大的困难。

如果能将图像中的浓雾或雾霾去除,对于物体识别、目标跟踪检测等任务都有极大的提升。先前基于机器学习的方法在模型复杂度、计算效率和表达能力上都有着各自的缺点。

为了提高模型的表达能力和效率,来自悉尼大学的研究人员提出了一种多尺度高效率的新模型FAMED-Net,实现了轻量化高精度的单张图像去雾。

图像去雾

雾霾对于成像的影响主要来自于空气中的悬浮颗粒对于光线的吸收和散射,这些颗粒包括了微小液滴、灰尘和悬浮颗粒等,它们对于光线的影响造成了图像质量的退化。为了削减或去除这些影响,研究人员们开发出了一系列图像去雾算法,从单张或者多张雾霾图像中恢复出清晰的图像。

目前主流的方法分为三类:

一类是利用深度图等信息来辅助清晰图像的重建;

另一类方法是利用图像序列来重建某一场景的清晰图像;

最后一种方法是直接从单张RGB图像中重建出清晰的图像,而这也是最具实用性和应用前景的方法,更适合在多样性的条件下实时使用。

但由于从退化图像中恢复是一个ill-posed问题,图像去雾依旧面临着诸多挑战。为了同时考虑吸收引起的衰减和散射引起的散射效应,人们发现通过透射率图来间接实现清晰图像的估计,只要通过图像估计出了环境的透射率图、就可以根据图像退化的逆过程计算出清晰的图像。

人们从成像过程和基于学习的方式出发,分别提出了多种估计估算透射率和图像去雾的方法。其中有著名的暗通道去雾方法、色彩衰减先验方法、非局域先验假设等。虽然这些方法简单且有效,但它们都是基于某些统计特征的描述,对于某些比较特殊的图像就会失效。

清晰图像与雾图的暗通道,以及典型的暗通道去雾算法

而基于学习的方法采用了数据驱动的方法来学习出图像特征和透射率之间的关系,克服了手工选取先验特征的不足。随着深度学习的方法,这种方法朝着更强大的模型、更有效的合成方法与数据以及端到端的训练发展。

其中著名的方法包括从雾图中直接学习透射率的DehazeNet,多尺度架构的MSCNN,用于在不同的尺度上进行由粗糙到精细的回归过程。为了顾及大气光的影响,研究人员还提出了可以同时学习透射率图、大气光照和去雾图像的DCPDN网络。此外还包括了AOD-Net,GFN等方法使用了编码器解码器架构和对抗方法得到了很好的结果。

但这些方法却需要较大的内存和计算开销,使其在资源受限系统上应用受到了限制。为了解决这些问题实现快速高效的图像去雾,研究人员提出了一种适用于任意尺寸的单图像去雾方法FAMED-Net,其中包含了三个不同尺度的解码器以及融合模块用于直接学习除去雾后的图像。每个解码器由级联的逐点卷积和池化层构成并通过稠密链接复用特征信息。由于没有大型卷积的加入使得整个网络十分轻量和高效。

FAMED-Net

这一模型的主要思想是通过顾及雾图的透射率来计算去雾后的图像的,在了解网络架构之前我们需要先复习下图像在雾中的成像模型:

其中I是相机接受到的雾图,而J是场景原始信号,t代表环境的透射率,A则代表了大气光线。所有的lamda表示这些项都与波长相关,在图像中与RGB三个通道相关。研究人员将上面的模型进行了改进融合了大气光照影响和透射率图,并用统一的参数K表示,只要得到了K我们就可以通过观测到的雾图重建出清晰的图像:

于是FMAMED-Net的主要工作变成了从雾图中估计出场景对应的K map。

研究人员首先探索了从单尺度雾图中恢复清晰图像的过程。这一架构中,研究人员基于概率统计分析验证了基于统计学理论恢复清晰图像的过程,利用网络模型学习出不同层级的特征恢复场景中的K,随后基于上面的公式到场景的清晰图像。模型主要分为K编码器和K融合及解码器模块。在编码器部分通过稠密连接将不同层级的特征衔接在了一起,基于逐点卷积和池化操作在保持模型容量的同时代替了操作更为复杂的卷积操作,实现了更为紧致的结构。

为了处理不同尺度带来的距离效应,研究人员还引入了高斯金字塔和拉普拉斯金字塔架构来得到更好的性能。在原图1/2,1/4高斯金字塔尺度上对K进行估计,并根据融合后的多尺度特征估计出更为可靠的K map。

如上图所示,不同尺度的图像分别估计自身尺度的K并与对应尺度的清晰图像计算L2损失。最后不同尺度下估计的K叠加并融合的到最终的Kfusion。拉普拉斯金字塔也基于相同的原理,与高斯金字塔唯一不同的是它的目标在于学习K的残差。这种多尺度的架构将为模型提供较大的感受野,在GP,LP模式下达到了52*52的大小。

结果

随后研究人员在RESIDE数据上进行了训练和测试,得到了很好的结果。

在真实世界图像上与不同算法的比较:

我们可以看到环境中估计出的透射率图,与直观感觉十分相近:

在实验中研究人员还发现,使用批归一化将有效提高模型的表现。同时更多的通道会为模型带来更强的表达能力。为了克服逐点卷积对于结构特征学习的劣势,研究人员在最开始加入了3*3的卷积层有效提升了模型的恢复能力。

这种基于多尺度编解码器的架构可以直接得到清晰的图像,通过逐点卷积和池化以及全连接的组合实现了高效运行和信息共享,能高速、准确地从雾图中得到清晰的图像。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 算法
    +关注

    关注

    23

    文章

    4438

    浏览量

    90552
  • 图像
    +关注

    关注

    2

    文章

    1062

    浏览量

    40016
  • 机器学习
    +关注

    关注

    66

    文章

    8062

    浏览量

    130442

原文标题:悉尼大学提出基于多尺度透射率估计去雾算法,消除照片上的雾霭烟霾

文章出处:【微信号:thejiangmen,微信公众号:将门创投】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    一种电子系统测试性模型研究

    和可用性有很大影响。在对测试性建模理论进行研究的基础上,借鉴信号流图模型和eXpress信息模型,提出了
    发表于 04-22 11:28

    高效率通信电源技术

    信息业的迅猛发展,给通信电源市场带来了巨大的市场机会和挑战,同时对电源提出了些新的需求,其中高效率个最为重要的技术挑战。随着运营商设备的了断增多、用电量急剧增加、机房面积紧张等客
    发表于 03-10 11:00

    美国普渡大学和哈佛大学的研究人员出了项新发明 新...

    据物理学家组织网报道,美国普渡大学和哈佛大学的研究人员出了项极为应景的新发明:一种外形如同颗圣诞树
    发表于 02-03 20:30

    高效率射频功率放大器的研究

    高效率射频功率放大器的研究高效率射频功率放大器的研究
    发表于 06-15 23:41

    高效率Doherty功率放大器的研究_潘国强

    高效率Doherty功率放大器的研究高效率Doherty功率放大器的研究
    发表于 06-15 23:42

    请问怎样去设计一种高效率音频功率放大器?

    怎样去设计一种高效率音频功率放大器?如何对高效率音频功率放大器进行测试验证?
    发表于 06-02 06:11

    一种基于模型效率估计算法

    。通常异步电机的故障是由于长时间运行损耗增加、效率降低,所以电机检测比较重要的项是检测效率般情况会有专用测试仪器来检测电机效率,但是都
    发表于 09-01 08:09

    (分享)一种可以同时给多个设备充电的新型无线充电技术

    研究人员开发了一种新型的无线充电发射器,它可以以90% 的高效率在近距离为多个设备充电。无线充电技术不再依赖于插头、插座和充电板来充电,使得人们的生活更加轻松。世界各地的研究人员都在尝
    发表于 03-03 11:10

    LabVIEW进行癌症预测模型研究

    LabVIEW进行癌症预测模型研究 癌症是一种细胞异常增生的疾病。随着年龄的增长,细胞分裂速度放缓,但癌细胞会失去控制地不断分裂,形成可能良性或恶性的肿瘤。 2012年的国际癌症数据显示,新发癌症
    发表于 12-13 19:04

    研究人员提出了一种柔性可拉伸扩展的多功能集成传感器阵列

    研究人员提出了一种柔性可拉伸扩展的多功能集成传感器阵列,成功将电子皮肤的探测能力扩展到7种,实现温度、湿度、紫外光、磁、应变、压力和接近等多种外界刺激的实时同步监测。
    的头像 发表于 01-24 15:15 6882次阅读
    <b class='flag-5'>研究人员</b><b class='flag-5'>提出了</b><b class='flag-5'>一种</b>柔性可拉伸扩展的多功能集成传感器阵列

    研究人员共同提出了一种面向目标检测任务的新模块Res2Net

    由于单独的Res2Net模块对于整体网络结构没有特定的要求,Res2Net模块的多尺度表示能力也和CNN的分层特征聚合模型彼此独立,所以可以很容易地将Res2
    的头像 发表于 04-08 09:26 3597次阅读

    研究人员提出了一系列新的点云处理模块

    为了探索这些问题的解决办法、来自伦敦大学学院的研究人员提出了一系列新的点云处理模块,从效率、信息共享和点云卷积操作等方面进行了研究,得到了更宽、更深、更快
    的头像 发表于 08-02 14:44 2730次阅读
    <b class='flag-5'>研究人员</b>们<b class='flag-5'>提出了</b>一系列新的点云处理模块

    JD和OPPO的研究人员提出了一种姿势引导的时尚图像生成模型

    研究人员的主要目的在于训练一个生成模型,将模特在当前姿势上的图像迁移到其他的目标姿势上去,实现对于衣着等商品的全面展示。
    的头像 发表于 08-02 14:50 2338次阅读

    Facebook的研究人员提出了Mesh R-CNN模型

    这一研究的目标是通过单张图像输入,对图像中的物体进行检测、获取不同物体的类别、掩膜和对应的三维网格,并对真实世界中的复杂模型进行有效处理。在2D深度网络的基础上,研究人员改进并提出了
    的头像 发表于 08-02 15:51 3568次阅读
    Facebook的<b class='flag-5'>研究人员</b><b class='flag-5'>提出了</b>Mesh R-CNN<b class='flag-5'>模型</b>

    超分子聚集体的高效率RTP模型和思路

    这项工作不仅报道了一维π-π堆积诱导的高效率RTP,为探索超分子聚集体的高效率RTP提供了重要的模型,也为实现三元白光提供了一种新策略。 研究
    的头像 发表于 08-08 09:49 1172次阅读