0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Facebook提出了一种Exemplar GANs的方法将照片中闭着的眼睛“打开”

DPVg_AI_era 来源:未知 作者:李倩 2018-07-03 09:57 次阅读

如何将照片中闭着的眼睛“打开”,一直是计算机视觉和图形学中的难题。Facebook提出了一种Exemplar GANs(ExGANs)的方法,在条件GAN的基础上加入参考信息,能合成逼真且自然的眼睛,肉眼几乎无法分辨。

现在有很多方法可以美化照片,让你看起来更好看,简单的,比如消除红眼或者镜头眩光,复杂的,甚至可能让你看起来变了一个人。

但是,到目前为止,还没有一个很好的办法处理照相时眨眼的问题:当拍照的那一瞬间眼睛正好闭上了,那么……就只能重新拍一张。

不过,现在好了,Facebook的一项最新研究可以很好地解决这个问题,而且效果惊艳。

Facebook的新技术让你完美睁眼:第一列和第二列是ground truth(分别对应正常和闭眼的情况);第三列是目前商用软件中效果最好的Adobe Photoshop Elements的结果;第四列是Facebook这次新提出的技术ExGAN。

深度学习让计算机“脑补”,风格转移合成逼真细节

Facebook在他们发表于CVPR 2018的论文“Eye In-Painting with Exemplar Generative Adversarial Networks”中描述了这项工作。

这里提到的“In-Painting”,也即图像补全,最初是一个传统图形学的问题,在一幅图像上挖一个洞,看如何利用其他的信息将这个洞补全,并且让人眼无法辨别。

这个问题对人类来说似乎很容易,只要稍微想象一下,大家很容易就能脑补出洞里应该有什么。但是,这个任务对于计算机而言却十分困难,因为这个问题没有唯一确定的解,如何利用其他的信息,如何判断补全的结果是否足够逼真,都是要考虑的问题。

近来,深度学习的发展,得益于神经网络对图像中高层特征(high-level feature)的提取能力,研究人员可以将大数据和high-level feature组合起来,使这个十分困难的问题得到了比较好的解决。

例如,2017年,来自伯克利和Adobe等机构的研究人员提出了一种混合优化方法(joint optimization),利用编码器 - 解码器CNN的结构化预测和神经补丁的力量,成功合成了实际的高频细节。

对于给定的一张带有孔洞(256×256)的图像(512×512),算法可以合成出更清晰连贯的孔洞内容(d)。上图展示了混合优化方法与用Context Encoders(b)、PatchMatch(c)这两种方法产生的结果的比较。

类似于风格转移(style transfer),他们的方法将编码器-解码器预测作为全局内容约束,并且将孔洞和已知区域之间的局部神经补丁相似性作为风格(style)约束。

补全眼睛,还是个大问题

但是,上述方法还是存在种种局限,其中之一就是对眼睛的补完。

这并不是说眼睛——“人类心灵的窗口”很难模拟。实际上,目前的深度网络已经能在语义上产生逼真的、令人信服的结果。

但是,大多数方法并不能保留照片中人物的“身份”(identity)。DNN可以学习“打开”一双闭合的眼睛,但是模型本身并不能保证新的眼睛对应于这个人的特定眼睛结构。

DNN只会插入一双与训练集中相似的脸相对应的眼睛。这时候,如果一个人有一些明显的特征,比如眼睛的形状比较特别,就不会在生成的部分中得到体现。

Facebook提出ExGAN,比cGAN更具表现力

Facebook作为全球最大的社交网络,每天乃至每一分钟都有大量用户将自己的照片上传,而其中就有很多是闭眼的照片。

坐拥可能是全球最大的闭眼照片数据集,Facebook的研究人员自然会想,能不能在这个基础上做些什么。

于是,有鉴于生成对抗网络(GAN)在生成逼真图像中的应用,Facebook的Brian Dolhansky和Cristian Canton Ferrer提出了一个Exemplar GANs (ExGANs)。

ExGAN是条件GAN(cGAN)的扩展,利用示例信息,生成高质量、个性化的图像补全。

与以前的条件GAN不同,在判别器网络里插入了额外的参考信息(参考图片或者感知代码),因此ExGAN有更强的表现力。

ExGANs的总体训练流程可以概括为:

从输入图像中标出眼睛;

以参考图像(reference image)或感知代码(perceptual code)为指导,对图像进行补全;

通过输入图像和补全图像之间的内容/重构损失,计算生成器参数的梯度;

用补全图像、另一个ground truth图像和参考图像或感知代码,计算鉴别器参数的梯度;

通过生成器反向传播鉴别器的误差。还有可选的一步,用感知损失对生成器的参数进行更新。其中,函数C(I)是身份函数。

ExGAN,让闭眼照片完美“开眼”

ExGAN从样例中,不仅了解了这个人的眼睛看的是什么,还了解了这个人的眼睛的结构、瞳孔的颜色,等等。最终补全的结果非常逼真而且自然。

在测试中,人们误把假眼睛睁开的照片当成真实的,或者有超过一半的时间他们不能确定哪个是哪个。看了上面的实例,除非我知道照片肯定是被篡改过的,不然我在信息流中滚动浏览时我可能根本就不会注意到。

在下图中,左边第一列是ground truth,第二列是其他方法,第三列和第四列都是ExGANs的结果。其中,第三列是使用了参考图像的结果,第四列是使用了感知代码的结果。(图片可以点击放大查看。)

在某些情况下,ExGANs仍然会失败,比如当一个人的眼睛被一缕头发遮住了一部分,或者有时不能正确地着色,就会产生一些奇怪的人工痕迹。但这些都是可以解决的问题。

研究者表示,Exemplar GANs是一个通用的框架,因此可以拓展到其他计算机视觉任务乃至其他领域的问题上。

在这次的研究中,基于参考图片和基于感知代码的两种方法是分开的,因为他们想展示这两种方法都是可行的。未来,他们会研究将这两种方法结合在一起,比如在生成器里使用参考图片,在判别器里使用感知代码,从而生成更加逼真可信的眼睛补全。

不论如何,我们的照片将变得更加自然和漂亮,而鉴别“换脸”或者假视频的任务,也将更具挑战。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Facebook
    +关注

    关注

    3

    文章

    1426

    浏览量

    53984
  • 计算机视觉
    +关注

    关注

    8

    文章

    1575

    浏览量

    45555
  • 深度学习
    +关注

    关注

    73

    文章

    5200

    浏览量

    119803

原文标题:【CVPR 2018】照片闭眼也无妨,Facebook黑科技完美补全大眼睛

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    单片机C语言下LCD多级菜单的一种实现方法

    介绍了在C语言环境下,在LCD液晶显示屏上实现多级嵌套菜单的一种简便方法,提出了个结构紧凑、实用的程序模型。
    发表于 03-03 13:10

    一种简单的逆变器输出直流分量消除方法

    逆变器输出直流分量会对逆变器本身和交流负载产生不利影响,必须消除直流分量来保障逆变器的可靠运行。提出了一种简单的消除输出直流分量的方法,并在理论分析的基础上,通过对1台220V、1 kW的逆变器系统
    发表于 12-27 11:20

    一种基于FPGA的任意锁相倍频算法

    摘 要:提出了一种基于FPGA的任意锁相倍频算法。通过对倍频系统总体结构的分析,提出了实现该算法的原理及其具体的设计方法,同时提供了个基于
    发表于 12-04 22:29

    一种基于FPGA的UART实现方法设计

    摘要:UART作为RS232协议的控制接口得到了广泛的应用,UART的功能集成在FPGA芯片中,可使整个系统更为灵活、紧凑,减小整个电路的体积,提高系统的可靠性和稳定性。提出了一种
    发表于 06-21 07:17

    Facebook背后的软件揭秘

    Facebook的扩展性挑战在我们讨论细节之前,这里有Facebook已经做的软件规模:◆Facebook有570000000000每月页面浏览量 (据Google Ad Plan
    发表于 07-16 06:48

    请问有没有一种提高A/D转换分辨率的方法

    本文提出了一种提高A/D转换分辨率的方法,并给出了相应的理论分析和应用实例。
    发表于 04-12 06:17

    为什么要提出一种数据隐藏新算法?

    为什么要提出一种数据隐藏新算法?DDE双重差值扩展算法包括哪些?
    发表于 04-20 07:05

    一种新的双T型选频网络电路的设计方法

    本文介绍一种新型的PIN光探测器(光敏二极管)的光电检测放大器设计方法。依照弱信号检测理论,在电路设计时采取多项措施力图提高信噪比。为了获得良好的带通滤波效果,本文还提出了
    发表于 04-23 07:15

    一种基于FPGA的微处理器的IP的设计方法

    本文根据FPGA的结构特点,围绕在FPGA上设计实现八位微处理器软核设计方法进行探讨,研究了片上系统的设计方法和设计复用技术,并给出了指令集和其调试方法
    发表于 04-29 06:38

    为什么要提出一种并行通信方法?并行通信方法有什么特点?

    为什么要提出一种并行通信方法?并行通信方法有什么特点?
    发表于 05-27 06:16

    浅谈一种高斯随机噪声生成方法

    本文提出了一种面向硬件的均值、方差的高斯随机噪声生成方法
    发表于 06-03 07:05

    求大佬分享一种基于JPEG2000的新型率控制方法

    通过对JPEG2000的分析,本文提出了一种通过估计率失真信息来控制码率的方法
    发表于 06-04 06:45

    一种基于综合几何特征和概率神经网络的HGU轴轨识别方法

    摘要故障诊断是保证水轮发电机组安全运行的重要环节。轴心轨迹辨识是HGU故障诊断的一种有效方法提出了一种基于综合几何特征和概率神经网络(CGC-PNN)的HGU轴轨识别
    发表于 09-15 08:18

    Facebook 新功能:让盲人也能“看见”照片内容

    Facebook、Instagram、Facebook Messenger 与 WhatsApp 等平台上,用户们上传的照片每天超过 20 亿张,但对盲人或视障人士来说,Facebook
    发表于 01-06 01:50 555次阅读

    Facebook提出了一种在虚拟现实环境中表征真实世界对象的解决方案

    )”的专利中指出,VR用户有时渴望与真实世界对象交互,但由于传统头显的设计,其无法或难以确定真实世界对象的位置。为了解决这个问题,Facebook提出了一种在虚拟现实环境中表征真实世界对象的解决方案。
    发表于 01-28 09:47 796次阅读
    <b class='flag-5'>Facebook</b><b class='flag-5'>提出了</b><b class='flag-5'>一种</b>在虚拟现实环境中表征真实世界对象的解决方案