0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于解剖学上的肌肉运动方式,提出了一种转换表情的新方法

zhKF_jqr_AI 来源:未知 作者:李倩 2018-07-31 09:24 次阅读

编者按:说到GAN在人脸上的应用,就不得不提起去年高丽大学、Clova AI Research、新泽西大学和香港科技大学共同发表的一项成果:一个可以在多域图像间实现图对图转换的统一生成对抗网络——StarGAN。它不仅能调整图像中的发色、肌理、肤色、性别,还能合成各种生动有趣的表情。而就在上周,美国的一群研究人员基于解剖学上的肌肉运动方式,提出了一种转换表情的新方法。

近年来,生成对抗网络(GAN)已经在面部表情合成任务中取得了令人印象深刻的结果,这为包括电影工业、摄影、时尚和电子商务在内的商业领域打开了一扇新大门:如果GAN真的能实现表情的自然转换,企业、制片方不仅能进一步压缩成本,还能加快产品的产出效率。

在这个背景下,去年提出的StarGAN无疑是目前最成功的架构,它只用一对生成器和判别器就能实现多个域之间的映射,且能对各个域的图像进行有效训练。虽然论文较以往成果有巨大进步,也显示出了通用性,但它只是把以前的2个域扩展到现在的k个域,模型转换效果还是受数据集注释局限。

为了解决这个问题,近日,西班牙IRI和美国俄亥俄州立大学的研究人员提出了一种基于动作单元(AU)的新型GAN,它在连续流形中描述了解剖学意义上的人类面部表情。经过无监督训练后,只需控制每个AU的激活程度,并选取其中几个进行组合,模型就能实现生动形象的表情转换。

模型架构和方法

首先,我们来看这个GAN的具体构造。

对于任意表情,模型把输入的RGB图像定义为Iyr∈RH×W×3。通过把复杂表情解构成一个个动作单元(AU),我们可以用一组N个AU yr= (y1, . . . , yN)T对每个表情编码,其中yn已经经过归一化处理,取值在0到1之间。有了这种连续表征,我们就可以在不同表征之间进行自然插值,从而渲染各种逼真、平滑的面部表情。

简而言之,我们的目标是学习一个映射M,它能把输入图像Iyr转换成基于目标AU yg的输出图像Iyg。

上图是GANimation的整体架构,可以发现,它主要由两部分组成:一个生成器G,一个判别器D。其中生成器负责回归注意力(GI)和生成色彩掩模(GA),判别器负责鉴别生成图像逼真与否(DI),并检查表情是否连贯(yˆg)。

既然重点是AU,那么模型的一个关键自然是专注于图像中那些负责合成新表情的区域,换言之,我们需要弱化头发、眼镜、帽子或珠宝等其他元素对模型的干扰。为了实现这一点,如上图所示,研究人员在生成器中引入注意力机制,把输入图像分成注意力掩模A和RGB掩模C,完成表情转换后再合并渲染。

什么是AU

关于什么是AU,文中并没有仔细说明,所以这里我们来看它重点引用的另一篇论文。

这篇名为Compound facial expressions of emotion的论文来自俄亥俄州立大学哥伦布分校,它和GANimation有一个共同的作者:Aleix M. Martinez。根据他们的研究,人类的不同面部表情可能存在一定相关性,比如当一个人感到惊喜时,他的面部肌肉群运动其实结合了愉悦、惊讶两种基础情绪的肌肉运动方式。

基于这个发现,他们提出了一种名为复合情感类别的重要表达式。通过采集230名人类受试者的面部表情样本图像,并进行观察实验,最终他们定义了21种不同表情类别,其中的差异可以被计算机用来区分不同人类情感。

数据库中的22种常见表情

用线条进行肌肉运动分析

六种复合面部表情的AU组成

很可惜,仔细浏览了论文好几次,我还是没能从中找出AU对照表。下表是目前已知的几项内容:

不过不知道也没关系,这个GAN已经公开了自己的pytorch实现:github.com/albertpumarola/GANimation。如果有读者希望获得完整表格,建议直接联系作者,或者依照俄亥俄州立大学论文中的方法自己总结,里面详尽列出了数据来源、具体方法和操作细节。

实验

最后是实验对比,我们先来看看GANimation和DIAT、CycleGAN、IcGAN、StarGAN这些模型的性能区别。

如下图所示,前三种模型都出现了不同程度的扭曲和畸变,表现较差;而StarGAN虽然保留了更多人脸细节,生成表情也更自然,但牺牲了清晰度,输出图像比较模糊。相比之下,GANimation虽然在脸型上出现了一点小瑕疵,但它的综合表现是最好的。

下图是GANimation的一些成功和失败的例子。其中前两个例子(顶行)对应于类似人的雕塑和非现实主义风格绘画。在这两种情况下,生成器都能保持原始图像的艺术效果,并且忽略诸如眼镜遮挡之类的伪像。

第三行的示例显示了模型对于面部非均匀纹理的稳健性。可以看到,把微笑转换成不满后,女郎鼻翼两侧出现了下陷的法令纹,但模型并没有试图通过添加/去除头发来使纹理均匀化。

底部是一些失败案例。研究人员归纳了失败原因,认为这些很可能都是因为训练数据不足引起的。如红脸男子图所示,当模型输入极端表情时,RGB掩模没有及时调整权重,导致嘴部出现透明化。此外,如果输入图像的主体不是人类,那模型的表现也会很差。

小结

传统的方法,比如Face2Face,需要极度依赖3D面部重建模型,适用面非常小,也难以扩展到任意身份。相反地,这篇论文以解剖学意义上的肌肉运动为条件,在处理极端输入时更稳健,效果更好。总而言之,这是篇不错的论文,而且提出了全然不同的转换方法,它的思路值得学习借鉴。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • GaN
    GaN
    +关注

    关注

    19

    文章

    1728

    浏览量

    67098
  • 生成器
    +关注

    关注

    7

    文章

    297

    浏览量

    20106

原文标题:GANimation:基于解剖结构的面部表情转换(附GitHub地址)

文章出处:【微信号:jqr_AI,微信公众号:论智】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    轧机牌坊滑板压亏修复的新方法

    电子发烧友网站提供《轧机牌坊滑板压亏修复的新方法.docx》资料免费下载
    发表于 03-14 16:16 0次下载

    氢压机轴承位磨损维修的新方法

    电子发烧友网站提供《氢压机轴承位磨损维修的新方法.docx》资料免费下载
    发表于 03-01 16:23 0次下载

    一种产生激光脉冲新方法

    等离子体中脉冲压缩的概念 英国和韩国的科学家提出了一种产生激光脉冲的新方法,其功率是现有激光脉冲的1000多倍。 科学家们使用计算机模拟联合研究,展示了一种压缩光的
    的头像 发表于 12-07 06:32 190次阅读
    <b class='flag-5'>一种</b>产生激光脉冲<b class='flag-5'>新方法</b>

    IC封装中快速创建结构的新方法

    IC封装中快速创建结构的新方法
    的头像 发表于 12-06 16:34 189次阅读
    IC封装中快速创建结构的<b class='flag-5'>新方法</b>

    应对传统摩尔定律微缩挑战需要芯片布线和集成的新方法

    应对传统摩尔定律微缩挑战需要芯片布线和集成的新方法
    的头像 发表于 12-05 15:32 295次阅读
    应对传统摩尔定律微缩挑战需要芯片布线和集成的<b class='flag-5'>新方法</b>

    基于PMSM 控制系统仿真建模的新方法

    电子发烧友网站提供《基于PMSM 控制系统仿真建模的新方法.pdf》资料免费下载
    发表于 11-29 11:22 0次下载
    基于PMSM 控制系统仿真建模的<b class='flag-5'>新方法</b>

    一种产生激光脉冲的新方法

    英国和韩国的科学家提出了一种产生激光脉冲的新方法,其功率是现有激光脉冲的1000多倍。
    的头像 发表于 11-20 16:56 228次阅读
    <b class='flag-5'>一种</b>产生激光脉冲的<b class='flag-5'>新方法</b>

    VLSI系统设计的最新方法

    电子发烧友网站提供《VLSI系统设计的最新方法.pdf》资料免费下载
    发表于 11-20 11:10 0次下载
    VLSI系统设计的最<b class='flag-5'>新方法</b>

    一种改善微波模块增益指标温度特性的新方法

    电子发烧友网站提供《一种改善微波模块增益指标温度特性的新方法.pdf》资料免费下载
    发表于 10-25 10:05 0次下载
    <b class='flag-5'>一种</b>改善微波模块增益指标温度特性的<b class='flag-5'>新方法</b>

    分享一种利用胶体量子点(QD)获得中红外发射的新方法

    据麦姆斯咨询报道,近期,美国芝加哥大学(University of Chicago)的研究团队展示了一种利用胶体量子点(QD)获得中红外发射的新方法,这可能为中红外光源开辟新的应用。
    的头像 发表于 10-09 18:04 643次阅读

    面部表情识别的技术挑战与解决方案

    的主要挑战之一。不同的人具有不同的面部特征和表情表达方式,这增加了算法的复杂度和难度。为了解决这个问题,可以采取机器学习和深度学习的方法,通过大量的训练数据来提高算法的适应性和鲁棒性。 其次,
    的头像 发表于 08-24 18:24 321次阅读

    USBブート用ドライバ誤認識後のドライバ更新方法

    USBブート用ドライバ誤認識後のドライバ更新方法
    发表于 07-11 20:20 0次下载
    USBブート用ドライバ誤認識後のドライバ更<b class='flag-5'>新方法</b>

    基于深度学习的三维点云配准新方法

    一、摘要 本文介绍了一种基于深度学习的三维点云配准新方法。该架构由三个部分组成: (1)编码器由基于卷积图的描述符组成,该描述符对每个点的近邻进行编码,并采用注意机制对表面法线的变化进行编码,突出
    的头像 发表于 06-17 09:54 756次阅读
    基于深度学习的三维点云配准<b class='flag-5'>新方法</b>

    USBブート用ドライバ誤認識後のドライバ更新方法

    USBブート用ドライバ誤認識後のドライバ更新方法
    发表于 05-15 19:09 0次下载
    USBブート用ドライバ誤認識後のドライバ更<b class='flag-5'>新方法</b>

    一种控制无刷直流电动机转速和转矩脉动的新方法

    一种控制无刷直流电动机转速和转矩脉动的新方法。在MATLAB/Simulink平台上建立GEO-RBFNN模型;并与现有的FA和PSO方法进行了性能比较。该系统比现有方法具有更好的效果
    发表于 03-23 15:11