0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

DA-GAN技术突破特征表达让计算机创造奇妙“新物种”

DPVg_AI_era 2018-04-03 09:54 次阅读

编者按:还记得那个能自己写诗的微软小冰吗?很多人看到小冰的诗之后惊叹原来机器也有了创造力。最近,微软亚洲研究院研发的DA-GAN技术让机器绘画创造也成为了可能,只要人们用文字描述一下自己想要的画面,计算机便可以在几毫秒之内生成多个与描述吻合的形象。也许在不久的将来,DA-GAN技术将开启一个人人都是创造者的时代。

创造力一直被认为是人类智能人工智能最大的差别之一。然而随着技术的发展,近年来人工智能在具有“创造性”的工作中不断突破。之前微软小冰写诗,已经让大家惊叹计算机在文字创作上的大幅提升,如今微软亚洲研究院研发的DA-GAN技术,则将对今后的艺术创造模式产生重大影响。而关于DA-GAN的论文也已被CVPR 2018接收(点击阅读原文查看)。

当人们用文字描述“我想要一只腹部、胸部为白色,头顶灰色,翅膀有白色翅斑的小鸟”时,计算机便可以通过DA-GAN在几毫秒的时间内生成多个与文字描述高度吻合的形象(如下图)。这些由计算机生成的鸟栩栩如生,完全符合人们期待的鸟的形象,不过它有可能是真实存在于现实世界中的,也有可能是系统根据鸟类特征和文字描述“创造”出来的一只“鸟”。

DA-GAN生成的“腹部、胸部为白色,头顶灰色,翅膀有白色翅斑的鸟”(注意:该图片中的鸟在现实世界中并不存在)

DA-GAN的最大创新——“隐空间”

DA-GAN研究团队的技术突破得益于特征表达技术的发展。以往的特征表达工作,多是让机器理解图片并抽取特征,然后再对图片进行分类;而DA-GAN则有些反向思维的意味,在提取图片特征后,将特征在人类的视觉空间中还原出来。

以上文所列举的鸟为例,系统首先要能够根据现实世界的鸟,总结出鸟的结构和特征,然后再根据用户的需求,输出他们所需要的鸟。之所以选择鸟类作为研究对象,是因为鸟类的特征非常丰富,仅头部就有几十种特征,鸟类专家就是利用这些细微的差别来判断鸟的种类,而特征丰富就意味着可以更好地去验证模型的生成能力。

微软亚洲研究院研究员傅建龙表示,“在训练DA-GAN系统时,我们先让它‘见’过很多种类的鸟,就如同一个人认识了红苹果后,看到绿色的苹果,也可以从它的外形中判断出这是苹果一样。DA-GAN依据所接触的鸟类图片,学会了判断鸟的经验性常识。”

与传统的数据训练模式需要pair data(数据对)不同,DA-GAN不需要将文本与真实的鸟一一对应,而是将原始图片分割成不同的部分(暂称该部分的样本为T),例如头部、身体、尾巴、姿势等,不同的部分分别投射到一个“隐空间”(暂称该部分的生成样本为T’),然后通过大量的图片训练,去验证T-T’对应的精确程度,也就是去不断验证该“隐空间”的好坏,从而不断迭代,确保从T-T’的过程并非随机产生,而是保持一定的规则,进而让“隐空间”的模型逐步趋于完善。这个过程可谓是DA-GAN系统最为核心的创新所在,也是它能够更加智能、真正具有举一反三学习能力的关键点。

DA-GAN技术突破特征表达让计算机创造奇妙“新物种”

DA-GAN深度注意力编码流程图

接下来,DA-GAN就可以基于该模型创作用户想要的鸟类了,正如文章开头所描述的,输入你的需求,一只栩栩如生的鸟就会相应生成。它可能是一只自然界里真实存在的鸟,也可能是一只拥有A种鸟类的头部特征、B种鸟类的身体特征、C种鸟类的尾部特征以及任意姿态的一只“想象中的鸟”,而在现实世界里并没有这样的鸟类,但它看上去就是一只真正的“鸟”。

DA-GAN技术突破特征表达让计算机创造奇妙“新物种”

(a) 文字到图像生成 (b) 物体类别变换

傅建龙表示,“目前,我们只将鸟类分成了4个部分,这是我们计算出来的映射相对合理,同时系统代价较小的可行的方式。当然也可以将鸟分为10个、30个部分,那样模型会越来越精确,但系统代价可能也会成倍增加。”

开启人人都是创造者的时代

除了鸟类,DA-GAN还可以用于任何与图片相关的创作,例如此前风行的基于真实人脸生成卡通人脸的小程序,其实大部分只是将纹理附着到了原始照片上,如果利用DA-GAN,则可以做得更像是艺术家的现场漫画写生,它可以是梵高风格、莫奈风格、漫画风格等等,用户可以进行任意转换。

对于DA-GAN来说,最重要的是早期的数据训练,图片越多质量越高。而且其分辨率已经从其他相关技术能够达到的64*64升级到了256*256,分辨率的提高,意味着图片每个部分所包含的细节信息更加完善,也正因为细节的丰富,才使得DA-GAN的表现在与真实世界的对比中优于同类技术。

与此同时,DA-GAN生成的众多新的图片,又可以反哺给该系统,从而让它拥有更多的学习数据。也就是说,只要基于少量的原始数据,DA-GAN就可以产生更多“真实”的练习数据,大大改善某些领域真实数据缺乏的问题。利用DA-GAN的这一优势,研究团队实现了业内首次在鸟类数据集中增加生成数据,并将系统的准确度提升了两个百分点。

DA-GAN技术突破特征表达让计算机创造奇妙“新物种”

数据增强结果

姿态变换任务 图中每组图片的第一列是source,第二列是target,第三列是DA-GAN生成的鸟类:保持与第一列的鸟类类别一致,但具有第二列的鸟类姿态

在可触摸的未来,或许,DA-GAN技术将开启一个人人都是创造者的时代。只要你的需求输入它能够读懂,哪怕是你脑海中幻想出来的物体和场景,它都能“画”出来。而由DA-GAN所描绘出来的虚拟世界,可能一点都不比文学家、艺术家创作出来的场景逊色。

不仅如此,让已经灭绝的动植物,通过记载文字的描述重新跃然纸上;为安防领域提供更真实的犯罪嫌疑人画像;帮助人们贴合自身的情况试穿网络售卖的衣物等等,还有更多DA-GAN技术的应用场景,等待大家去想象。同时,傅建龙也表示,未来随着技术的不断发展,更多可以生成逼真图片和影像的技术将会诞生,如何辨别真伪也是需要科研人员以及大众思考和解决的问题。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机
    +关注

    关注

    19

    文章

    6649

    浏览量

    84526
  • 人工智能
    +关注

    关注

    1776

    文章

    43845

    浏览量

    230600

原文标题:突破特征表达方式:微软亚洲研究院CVPR论文DA-GAN,让计算机创造奇妙“新物种”

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    量子计算机 未来希望

    自己从事语音识别产品设计开发,而量子技术和量子计算机必将在自然语言处理方面实现重大突破,想通过此书学习量子计算技术,储备知识,谢谢!
    发表于 02-01 12:51

    【量子计算机重构未来 | 阅读体验】+ 初识量子计算机

    欣喜收到《量子计算机——重构未来》一书,感谢电子发烧友论坛提供了一个我了解量子计算机的机会! 自己对电子计算机有点了解,但对量子计算机
    发表于 03-05 17:37

    计算机与网络技术基础

    计算机与网络技术基础了解计算机网络的形成与发展过程  掌握计算机网络的定义、分类、功能和典型应用  掌握计算机网络的组成
    发表于 12-07 13:36

    计算机病毒特征及其防治策略会议

    计算机病毒特征及其防治策略会议田金(西北民族大学计算机科学与信息工程学院甘肃兰州730020)摘要:计算机病毒是一种“计算机程序”,它不仅能
    发表于 10-10 14:40

    计算机病毒的特征有哪些

      计算机病毒一词已经渗透到每个网民的心中,并且对计算机的危害是不可预测的。俗话说,无论多么全面的安全软件,都无法保证任何计算机都在网络上。绝对安全,让我们了解计算机病毒的
    发表于 01-15 16:16

    计算机有哪些功能

    一句话概括:计算机体系结构讲的是计算机有哪些功能(包括指令集、数据类型、存储器寻址技术、I/O机理等等),是抽象的;计算机组成原理讲的是计算机
    发表于 07-16 07:45

    计算机控制技术简介

    Hefei University课程综述课程题目:计算机控制技术姓 名:胡年军学 号: 0805070111专 业: 自动化(1)班授课老师:丁健一、计算机控制技术简介
    发表于 09-01 08:09

    计算机控制技术简介

    个人收集整理仅供参考学习个人收集整理仅供参考学习PAGE / NUMPAGES个人收集整理仅供参考学习Hefei课程综述课程题目:计算机控制技术姓 名:胡年军学 号: 0805070111专 业
    发表于 09-01 08:02

    计算机维修与维护技术探讨

    随着计算机应用的普及和网络的发展,给人们的工作和生活带来很多方便的同时,随之而来的计算机硬件故障也给用户带来困扰。如何判断和维修硬件故障,这就需要用户学习计算机硬件维修技术,自己动手排
    发表于 09-08 07:10

    关于计算机的硬件维护的浅析

    现今科技的进步日新月异,计算机作为信息时代主要的特征载体,已经遍布我们社会生活的方方面面,而计算机作为软件硬件的统一体,人们在关心软件系统的同时,往往忽视了对计算机硬件的维护。下面是Y
    发表于 09-08 08:07

    单片微型计算机原及接口技术

    程的前导课程为《C语言及其在单片机中的应用》,后续课程为《单片机系统应用技术》,组成基于单片机的微型计算机原理及相关技术模块,目的是学生尽早接触与本专业相关的基本技能,明确学习目的,
    发表于 09-10 06:34

    单片微型计算机原理及接口技术

    指导书教学目的本课程的前导课程为《C语言及其在单片机中的应用》,后续课程为《单片机系统应用技术》,组成基于单片机的微型计算机原理及相关技术模块,目的是学生尽早接触与本专业相关的基本技
    发表于 09-10 09:10

    什么是计算机

    我们人类无时无刻不想着,自己能够创造一个世界。什么是计算机计算社会我们人类已经步入了计算社会。纵览人类社会的计算历史,从“结绳记事”中的绳
    发表于 09-10 08:41

    浅析计算机接口与控制技术

    计算机接口与控制技术》 教学大纲课程名称:计算机接口与控制技术(Computer Interface and Control Technique )课程编号:S031030课程学时:
    发表于 09-10 06:45

    计算机辅助技术有哪些_计算机辅助技术的应用

    计算机辅助技术包括计算机辅助设计、计算机辅助制造、计算机辅助测试和计算机辅助教学等。
    的头像 发表于 11-17 14:31 3.7w次阅读