0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

探讨条件GAN在图像生成中的应用

zhKF_jqr_AI 2018-01-11 16:22 次阅读

生成对抗网络一直是深度学习的重要工具,经过近几年的发展,GANs也衍生出了许多不同的模式,例如DCGANs、Wasserstein GANs、BEGANs等。本文将要探讨的是条件GAN(Conditional GANs)在图像生成中的应用。

条件GANs已经应用与多种跟图像有关的任务中了,但分辨率通常都不高,并且看起来很不真实。而在这篇论文中,英伟达和加州大学伯克利分校的研究人员共同提出了一个新方法合成高分辨率的街景,利用条件GANs从语义标签映射生成的2048x1024的图像不仅在视觉上更吸引人,同时生成了新的对抗损失以及新的多尺度生成器和判别器体系结构。

合成实例级别的图像

接下来就是该项目的具体实验过程。首先,是基线算法pix2pix的运用。pix2pix是用于图像翻译的条件GAN框架,它包含一个生成网络G和一个判别网络D。在这项任务中,生成网络G的目标就是将语义标签映射翻译成接近真实的图像,而判别网络D的目标是将生成图像与真实图像作对比。

pix2pix利用U-Net作为生成网络,同时用基础的卷积网络作为判别器。然而,利用数据集Cityspaces生成的图像分辨率最高只有256x256的,以至于训练过程十分不稳定,生成图片的质量也不是很好,所以pix2pix框架需要进行一些改善升级。

研究人员将生成网络换成由粗到精的网络,并采用多尺度的判别网络结构。同时采用稳定的对抗学习目标函数。

由粗到精的生成网络(Coarse-to-fine generator)

研究人员将生成网络分成了两部分:全局生成网络G1和局部增强网络G2。全局生成网络G1的可接受的分辨率为1024x512,局部增强网络输出的图像分辨率为前一个图像的4倍。如果还想得到更高的合成图像,可以继续增加局部增强网络。

探讨条件GAN在图像生成中的应用

生成网络结构

多尺度判别网络(multi-scale discriminators)

对GAN的判别网络来说,高分辨率的图像是不小的挑战。为了区分真正的高清图片与合成图片,判别网络需要一个巨大的接收区(receptive field)。所以这就需要一个更深的网络或更大的卷积核。但是这两种方法都会增加网络的能力,有可能导致过度拟合。并且它们在训练时都需要更大的存储脚本,这对高分辨率的图像生成来说是很稀少的。

为了解决这一问题,研究人员提出了使用多尺度判别器的方法,即用三种拥有同样结构的网络,但针对不同尺寸的图片运行。能处理最大尺寸的网络拥有最大的接收区,它能引导生成网络生成整体更协调的图像。而处理最小尺寸的网络能引导生成网络在细节上处理得更仔细。

损失函数

研究人员从鉴别网络的多个层中提取特征,并学习从真实和合成图像中匹配这些中间表征。为了方便表示,我们将判别网络Dk的第i层表示为Dk(i),特征匹配损失LFM(G, Dk)表示为:

其中T是总层数,Ni表示每层的组成要素。

最终将GAN损失和特征匹配损失结合起来的函数表示为:

其中λ控制两项的重要性。

现有的图像合成方法仅使用语义标签映射,其中每个像素值代表像素所属的对象类别。这种映射不区分同一类别的对象。另一方面,实例级别的语义标签映射包括每个单独对象的唯一ID。要包含实例映射,一个简单的方法是将其直接传递给网络,或者将其编码成一个单独的向量。然而,由于不同图像可能包含不同数量相同类别的对象,所以这两种方法在实践中都难以实现。

所以我们选择用实例映射,它能够提供语义标签映射中没有的对象边界(object boundary)。例如,当多个相同类别的对象彼此相邻是,只查看语义标签映射无法区分它们。

下图显示用实例边界映射训练的模型,图像边界更清晰。

结果对比

为了量化合成图像的质量,研究人员对其进行语义分割,并比较预测的预测的部分与输入部分的匹配程度。从下表可以看出,我们使用的方法远远优于其他方法,并且十分接近原始图像。

在CityScapes数据集上,在没有损失函数的情况下,我们的方法也依然比其他两种方法更优。

在NYU数据集上,我们的方法生成的图片比其他方法生成的图片看起来更真实。

其他结果:

输入标签(左)与合成图像(右)

放大后可以看到图中对象的细节更清晰

ADE20K数据集的实验,我们的结果生成的图片真实度与原图相差无几

在Helen Face数据集上的实验,用户可以在互动界面实时改变脸部特征。例如变换肤色、加胡子等等

各位可以到网站上自行绘制你的“大作”:uncannyroad.com/

结语

实验的结果表明,条件GANs无需手动调整损失函数或提前训练网络,就能合成高分辨率的逼真图像。我们的成果将帮助许多需要高分辨率图像,但却没有预先训练网络的领域,比如医疗影像和生物领域。

同时,这篇论文还向我们展示出,图像到图像的合成pipeline可以用来生成多种结果。研究人员认为这些成果有助于扩大图片合成的应用范围。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • GaN
    GaN
    +关注

    关注

    19

    文章

    1744

    浏览量

    67187
  • 深度学习
    +关注

    关注

    73

    文章

    5200

    浏览量

    119803

原文标题:通过协同绘制用GAN合成高分辨率无尽道路

文章出处:【微信号:jqr_AI,微信公众号:论智】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    如何精确高效的完成GaN PA的I-V曲线设计?

    GaN PA 设计?)后,了解I-V 曲线(亦称为电流-电压特性曲线)是一个很好的起点。本篇文章探讨I-V 曲线的重要性,及其非线性GaN 模型(如Modelithics Qorvo
    发表于 07-31 06:44

    【洞幺邦】基于深度学习的GAN应用风格迁移

    和虚假,最后两者到达动态的平和的时候,生成网络G就可以生成以假乱真的图片了。GAN应用风格迁移:最一开始那个呐喊的例子,人类骑行的
    发表于 07-01 10:53

    图像生成对抗生成网络gan_GAN生成汽车图像 精选资料推荐

    图像生成对抗生成网络ganHello there! This is my story of making a GAN that would generate images of cars
    发表于 08-31 06:48

    特伦托大学与Inria合作:使用GAN生成人体的新姿势图像

    使用GAN(对抗生成网络)生成人体的新姿势图像。研究人员提出的可变形跳跃连接和最近邻损失函数,更好地捕捉了局部的纹理细节,缓解了之前研究生成
    的头像 发表于 01-29 16:34 9146次阅读
    特伦托大学与Inria合作:使用<b class='flag-5'>GAN</b><b class='flag-5'>生成</b>人体的新姿势<b class='flag-5'>图像</b>

    GAN技术再到新高度 利用pytorch技术生成72种图像

    随着GAN的发展,单凭一张图像就能自动将面部表情生成动画已不是难事。但近期在Reddit和GitHub热议的新款GANimation,却将此技术提到新的高度。GANimation构建了一种人脸解剖
    的头像 发表于 07-30 10:39 5438次阅读

    图像生成领域的一个巨大进展:SAGAN

    近年来,生成图像建模领域出现了不少成果,其中最前沿的是GAN,它能直接从数据中学习,生成高保真、多样化的图像。虽然
    的头像 发表于 10-08 09:11 1.3w次阅读

    GAN图像生成应用综述

    GAN 可以将任意的分布作为输入,这里的 Z 就是输入,在实验中我们多取Z∼N(0,1),也多取 [−1,1] 的均匀分布作为输入。生成器 G 的参数为 θ,输入 Z 在生成器下得到 G(z;θ),输出可以被视为从分布中抽取的样
    的头像 发表于 02-13 13:59 5251次阅读
    <b class='flag-5'>GAN</b>在<b class='flag-5'>图像</b><b class='flag-5'>生成</b>应用综述

    必读!生成对抗网络GAN论文TOP 10

    处理的CelebA-HQ 数据集,实现了效果令人惊叹的生成图像。作者表示,这种方式不仅稳定了训练,GAN 生成图像也是迄今为止质量最好的。
    的头像 发表于 03-20 09:02 6183次阅读
    必读!<b class='flag-5'>生成</b>对抗网络<b class='flag-5'>GAN</b>论文TOP 10

    基于谱归一化条件生成对抗网络的图像修复算法

    基于生成对抗网络的图像修复算法在修复大尺寸缺失图像时,存在图像失真较多与判别网络性能不可控等问题,基于谱归一化条件
    发表于 03-12 10:22 14次下载
    基于谱归一化<b class='flag-5'>条件</b><b class='flag-5'>生成</b>对抗网络的<b class='flag-5'>图像</b>修复算法

    基于自注意力机制的条件生成对抗网络模型

    到无监督的GΔN网络中,这使得GAN可以生成有标签数据。传统的GAN通过多次卷积运算来模拟不同区域之间的相关性,进而生成图像,而cGAN只是
    发表于 04-20 14:26 11次下载
    基于自注意力机制的<b class='flag-5'>条件</b><b class='flag-5'>生成</b>对抗网络模型

    基于GAN-inversion的图像重构过程

    笔者最近在集中时间学习对抗生成网络(GAN),特别是深度生成先验进行多用途图像修复与处理,需要对图像修复与处理经典论文进行回顾和精读。
    的头像 发表于 07-13 14:19 2543次阅读

    探讨GAN背后的数学原理(上)

    GAN的风暴席卷了整个深度学习圈子,任何任务似乎套上GAN的壳子,立马就变得高大上了起来。那么,GAN究竟是什么呢? **GAN的主要应用目标:**
    的头像 发表于 03-17 10:01 289次阅读
    <b class='flag-5'>探讨</b><b class='flag-5'>GAN</b>背后的数学原理(上)

    探讨GAN背后的数学原理(下)

    GAN的风暴席卷了整个深度学习圈子,任何任务似乎套上GAN的壳子,立马就变得高大上了起来。那么,GAN究竟是什么呢? **GAN的主要应用目标:**
    的头像 发表于 03-17 10:02 399次阅读
    <b class='flag-5'>探讨</b><b class='flag-5'>GAN</b>背后的数学原理(下)

    生成对抗网络GAN的七大开放性问题

    生成对抗网络在过去一年仍是研究重点,我们不仅看到可以生成高分辨率(1024×1024)图像的模型,还可以看到那些以假乱真的生成图像。此外,我
    的头像 发表于 03-17 11:18 415次阅读
    <b class='flag-5'>生成</b>对抗网络<b class='flag-5'>GAN</b>的七大开放性问题

    何恺明新作RCG:无自条件图像生成新SOTA!与MIT首次合作!

    它有望超越条件图像生成,并推动诸如分子设计或药物发现这种不需要人类给注释的应用往前发展(这也是为什么条件生成
    的头像 发表于 12-10 10:24 489次阅读
    何恺明新作RCG:无自<b class='flag-5'>条件</b><b class='flag-5'>图像</b><b class='flag-5'>生成</b>新SOTA!与MIT首次合作!