张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

一种新型的GAN,在测试期间只需几张示例图像

2019-05-13 09:17 次阅读

5月9日,英伟达首席研究科学家刘明宇在社交网站公布了其最新研究成果:一种新型的GAN,在测试期间只需几张示例图像,就可以将图像转换为以前从未见过的对象类型。GAN之父Ian Goodfellow也对其进行了转发支持。

人类在泛化方面非常擅长。

当给出一张以前看不见的外来动物的照片时,我们可以用不同的姿势形成同一动物的生动的心理图像,特别是当我们在之前的姿势中遇到过相似但不同的动物(图像)时。

例如,一个人第一次看到一只站立的老虎,我们可以毫不费力地想象它躺下来的样子。

同时,也很容易获得一种伴认知泛化能力,即其他的动物躺下来会是什么样子。

对于现有无监督图像到图像的转换算法,虽然已经在跨图像类转换复杂的外观变化方面非常成功,但基于先验知识从新类的少数样本泛化的能力完全超出了它们的范围。 具体地说,仍然在两个方面受到限制:

首先,模型通常需要在训练期内看到来自目标类的大量图像。

其次,在测试期内,不能将用于转换任务的训练模型重新用于另一转换任务。

简言之,现有的算法不支持小样本泛化。

为了弥合人机与机器想象能力之间的差距,最近英伟达的研究人员提出了几个无监督的图像到图像转换框架(FUNIT)来解决上述限制。

在训练时,FUNIT模型会学习在从一组源类中采样的任何两个类之间转换图像。

在测试时,模型会显示一些它从未见过的目标类的图像。该模型利用这些少量示例图像将源类的输入图像转换为目标类。

首先假设人类的小样本泛化能力是从他们过去的视觉经验中发展出来的 - 如果一个人在过去看过更多不同的对象类别,他们可以更好地想象一个新对象的视图。

基于该假设,研究人员使用包含许多不同对象类的图像的数据集来训练FUNIT模型,以模拟过去的视觉体验。具体来说,他们通过利用另一个类的少量示例图像来训练模型以将图像从一个类转换为另一个类。

假设通过学习从用于翻译任务的少数示例图像中提取外观模式,该模型学习了一种可推广的外观模式提取器,其可以在测试时应用于看不见的类的图像,用于少数镜头到图像到图像的转换任务。

左:训练。 训练集由各种对象类(源类)的图像组成。 我们训练模型来在这些源对象类之间转换图像。右:部署。 我们向训练模型显示目标类的极少数图像,这足以将源类的图像转换为目标类的类似图像,即使模型在训练期间从未见过来自目标类的单个图像。

请注意,FUNIT生成器需要两个输入:1)内容图像(红色线圈选)和2)一组目标类图像(绿色线圈选)。 它旨在生成类似于目标类图像的输入图像的转换。

架构及转换过程

框架基于生成对抗网络(GAN),实验表明,通过将对抗性训练方案与新颖的网络设计相结合,研究人员实现了所需的几次无人监督的图像到图像转换能力。 通过对三个数据集的广泛实验验证,包括使用各种性能指标与几种基线方法的比较,验证了框架的有效性。

少样本无监督的图像到图像转换示例

研究人员展示了动物面部转换,鸟类转换,花卉转换和食物转换的结果。对于每个例子,

y1和y2是测试期间可用的目标类的少数示例图像,

x是源类的输入图像,

x bar是从源类到目标类的转换。

模型能够将豹子转换成沙皮狗,即使它在训练期间从未见过单一的沙皮狗图像。

动物面部转换

鸟类转换

花卉转换

食物转换

结果表明,在训练过程中,当模型没有看到任何目标类的图像时,FUNIT可以基于小样本集生成可信的转换输出。

我们注意到输出图像中的对象与输入具有相似的姿势。

框架的局限性

当看不见的对象类的外观与源类的外观(例如花和动物的面部)显着不同时。 拟议的FUNIT框架未能产生有意义的转换输出。

论文摘要

无监督的图像到图像的转换方法,是指学习利用图像的非结构化(未注册)数据集,将给定类中的图像映射到不同类中的类似图像。

虽然非常成功,但是当前的方法需要在训练时访问源类和目标类中的许多图像。 我们认为这极大地限制了它们的使用。

人类通常具有可以从少数例子中找到新物体本质的能力,研究人员以此为灵感并加以推广,他们寻求一种小样本的、无监督的图像到图像的转换算法,该算法适用于以前从未见过的目标类别。 在测试时仅指定几个示例图片,该模型通过将对抗训练方案与新颖的网络设计相结合,实现了这种小样本的泛化能力。 通过广泛的实验验证和与基准数据集的几种基线方法的比较,验证了所提出框架的有效性。

代码:

https: //nvlabs.github.io/FUNIT

Demo:

https://nvlabs.github.io/FUNIT/petswap.html

论文:

https://arxiv.org/pdf/1905.01723.pdf

原文标题:英伟达发布新型GAN,豹子秒变沙皮狗!| 技术头条

文章出处:【微信号:rgznai100,微信公众号:AI科技大本营】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

Nvidia首次推出用于嵌入式设备上的边缘AI

根据首席执行官Jensen Huang的说法,Nvidia正在为其Jetson产品系列推出一款新的嵌....
发表于 06-18 11:27 32次 阅读
Nvidia首次推出用于嵌入式设备上的边缘AI

深度ReLU网络的训练动态过程及其对泛化能力的影响

基于这个框架,我们试图用统一的观点来解释这些令人费解的经验现象。本文使用师生设置,其中给过度参数化的....
的头像 新智元 发表于 06-15 10:48 325次 阅读
深度ReLU网络的训练动态过程及其对泛化能力的影响

清华大学“人工智能前沿与产业趋势”系列讲座的第五讲

其次是应用。雷鸣提到,在医疗方面,人类已经定义的疾病有3万多种,这疾病如何分类、如何预测,都是需要通....
的头像 新智元 发表于 06-15 10:10 573次 阅读
清华大学“人工智能前沿与产业趋势”系列讲座的第五讲

科技是把双刃剑:令人担心的事情还是发生了

据称,凯蒂·琼斯(Katie Jones)在一个高级智库工作, 与政治专家和政府内部人士联系在一起。....
的头像 新智元 发表于 06-15 09:11 845次 阅读
科技是把双刃剑:令人担心的事情还是发生了

AMD推出两款Navi显卡 英伟达进行术语和功能说明

近日消息 根据德国科技网站hardwareluxx的报道,英伟达在AMD推出两款Navi显卡Rade....
的头像 芯论 发表于 06-14 15:11 313次 阅读
AMD推出两款Navi显卡 英伟达进行术语和功能说明

三星抢下英伟达7纳米GPU订单 提出的价格较台积电便宜

根据韩国媒体《KoreaBusiness》的报导,三星已确定从台积电手中抢下NVIDIA(英伟达)下....
的头像 集成电路园地 发表于 06-13 17:04 296次 阅读
三星抢下英伟达7纳米GPU订单 提出的价格较台积电便宜

机器视觉中图像前置知识颜色模型的分类与应用

RGB颜色模型(也叫红、绿、蓝三原色模型或者加色混色模型):将红、绿、蓝3种不同颜色,根据亮度配比的....
的头像 新机器视觉 发表于 06-11 09:02 206次 阅读
机器视觉中图像前置知识颜色模型的分类与应用

2020年投产的安培架构GPU上,英伟达将改用三星的7nm EUV工艺进行生产

通过使用三星7nm EUV工艺代替台积电的7nm工艺,Nvidia可能能够获得更多供应。
的头像 旺材芯片 发表于 06-10 09:06 480次 阅读
2020年投产的安培架构GPU上,英伟达将改用三星的7nm EUV工艺进行生产

对抗性解耦学习,让“夏虫语冰”

面临上述的训练和测试数据之间的领域差异的问题,简单地应用数据驱动的模型可能导致模型聚焦于每个领域的偏....
的头像 新智元 发表于 06-07 15:46 221次 阅读
对抗性解耦学习,让“夏虫语冰”

如何利用深度学习技术处理图像水印

水印作为一种保护版权的有效方式被广泛地应用于海量的互联网图像,针对水印的各种处理显得越来越重要,比如....
的头像 AI科技大本营 发表于 06-07 11:32 180次 阅读
如何利用深度学习技术处理图像水印

数据可视化用来创造一条快速认识数据集的捷径

数据可视化用来创造一条快速认识数据集的捷径,图形化的数据表示方法能够将人类的注意力吸引到重要目标,搭....
的头像 新智元 发表于 06-07 11:16 218次 阅读
数据可视化用来创造一条快速认识数据集的捷径

英伟达RTX20系列显卡后继增长乏力 AMD或将分流

过去的几年中,NVIDIA在高性能独显市场上一家独大,特别是高端显卡市场更是无人能敌,AMD推出了两....
发表于 06-06 15:17 355次 阅读
英伟达RTX20系列显卡后继增长乏力 AMD或将分流

求解答这个图像条纹干扰问题?

这几天一直调试样机,图像有很严重的条纹干扰,然后我把SENSOR的几路电源各加了一个磁珠,现在SENSOR在摄像的时候条...
发表于 06-05 22:37 19次 阅读
求解答这个图像条纹干扰问题?

戴尔官网推出全新G3游戏本

戴尔G3游戏本为电竞玩家们精心准备了全新模具,以第一架隐形战斗机为灵感,设计出后掠翼式的尾部散热格栅....
的头像 Linux爱好者 发表于 06-05 11:33 749次 阅读
戴尔官网推出全新G3游戏本

华为正式成立智能汽车解决方案BU 英伟达获杭州市自动驾驶路测牌照

5月29日,华为宣布成立智能汽车解决方案BU,隶属于ICT管理委员会管理。华为对智能汽车解决方案BU....
的头像 智车科技 发表于 06-04 14:42 1073次 阅读
华为正式成立智能汽车解决方案BU 英伟达获杭州市自动驾驶路测牌照

AI画家挑战毕加索 一小时画9张画

AI作品有了市场摊位,无穷的艺术品应该值多少钱?
的头像 电子发烧友网工程师 发表于 06-03 11:19 485次 阅读
AI画家挑战毕加索 一小时画9张画

一个完整的MNIST测试集,其中包含60000个测试样本

NIST手写字符集的第一部分已经在一年前发布,它是一个由2000名人口普查局员工手写的训练集和500....
的头像 AI科技大本营 发表于 06-02 09:43 249次 阅读
一个完整的MNIST测试集,其中包含60000个测试样本

MIT人工智能实验室的研究人员开发了一种“触觉手套”

即使我们的其他感官失败了,提供给我们大脑的触觉信息仍然是我们与周围环境交互的有力工具。这是一种非常重....
的头像 新智元 发表于 06-02 09:37 673次 阅读
MIT人工智能实验室的研究人员开发了一种“触觉手套”

如何使用TensorFlow2.0构建和部署端到端的图像分类器

从 TensorFlow Datasets 中下载的数据集包含很多不同尺寸的图片,我们需要将这些图像....
的头像 AI科技大本营 发表于 05-31 17:08 306次 阅读
如何使用TensorFlow2.0构建和部署端到端的图像分类器

英伟达逐渐陷入红海 AI芯片在全球呈现群雄逐鹿的竞争格局

对于英伟达,很多人并不陌生,特别是在AI时代,基于英伟达GPU,AI得到高速发展,但此时的英伟达,日....
发表于 05-31 16:42 183次 阅读
英伟达逐渐陷入红海 AI芯片在全球呈现群雄逐鹿的竞争格局

英伟达推出移动端VR-ready Quadro芯片 自适应着色器内存体系结构

Nvidia在2019年Computex中宣布了最新的“RTX Studio”标准——要求一台笔记本....
的头像 AR联盟 发表于 05-29 17:38 1178次 阅读
英伟达推出移动端VR-ready Quadro芯片 自适应着色器内存体系结构

英伟达推出新款EGX平台 将人工智能引入网络边缘

英伟达公司周一早些时候推出了新的英伟达EGX平台,将人工智能引入网络边缘,该平台能够实时感知、理解和....
发表于 05-29 16:05 140次 阅读
英伟达推出新款EGX平台 将人工智能引入网络边缘

Adobe研究院的研究者们提出了全新的通用深度网络架构CPNet

我们将网络的核心命名为”CP模块“,其结构如下,大致分为两个部分。输入和输出都是一个THW x C的....
的头像 新智元 发表于 05-25 09:41 369次 阅读
Adobe研究院的研究者们提出了全新的通用深度网络架构CPNet

利用AI+脑电波,锁定你想听的声音

哥伦比亚大学Mortimer B. Zuckerman Mind Brain Behavior In....
的头像 新智元 发表于 05-25 09:37 490次 阅读
利用AI+脑电波,锁定你想听的声音

3个神经网络,让蒙娜丽莎活起来

是的,《哈利·波特》世界中”会动的画“魔法实现了!来自三星AI中心(Samsung AI Cente....
的头像 新智元 发表于 05-25 09:05 396次 阅读
3个神经网络,让蒙娜丽莎活起来

谁说轻薄本性能扛不住 这台笔电带你一战到底

最近总听周围的男性朋友诉苦,游戏一时爽,一直游戏一直爽,然而外出就没得玩了。
的头像 ZEALER订阅号 发表于 05-24 17:26 931次 阅读
谁说轻薄本性能扛不住 这台笔电带你一战到底

AI神话破灭 英伟达营收和利润双双大幅下滑

英伟达2020财年第一季财报显示,营收同比下滑31%至22.2亿美元,净利润同比大幅下滑68%,由1....
发表于 05-20 16:58 218次 阅读
AI神话破灭 英伟达营收和利润双双大幅下滑

训练一个机器学习模型,实现了根据基于文本分析预测葡萄酒质量

我们可以把上述的其他信息也引入作为特征参数,这样就能构建出一个更全面的模型来预测葡萄酒质量。为了将文....
的头像 电子发烧友网工程师 发表于 05-16 18:27 446次 阅读
训练一个机器学习模型,实现了根据基于文本分析预测葡萄酒质量

我们如何为自动驾驶汽车构建路径感知

全新NVIDIA DRIVE Labs视频系列详细介绍了自动驾驶的构建模块,带您一探究竟NVIDIA....
的头像 英伟达NVIDIA企业解决方案 发表于 05-16 15:38 473次 阅读
我们如何为自动驾驶汽车构建路径感知

NVIDIA机器人解决方案亮相智博会

在近日落幕的2019年全球人工智能产品应用博览会(智博会)上,NVIDIA展出了其基于最新AI计算机....
的头像 英伟达NVIDIA企业解决方案 发表于 05-16 15:03 375次 阅读
NVIDIA机器人解决方案亮相智博会

Jetson Nano让AI计算无处不在

NVIDIA在GTC 2019上发布了Jetson Nano开发套件,这是一款售价99美元的计算机,....
的头像 英伟达NVIDIA企业解决方案 发表于 05-15 17:32 1062次 阅读
Jetson Nano让AI计算无处不在

NVIDIA与红帽团队合作为企业级AI提供加速

NVIDIA加速计算平台和Red Hat OpenShift 4联手助力加速用于AI和数据科学的本地....
的头像 英伟达NVIDIA企业解决方案 发表于 05-15 17:29 380次 阅读
NVIDIA与红帽团队合作为企业级AI提供加速

英伟达打造人工智能平台 有利于患者和整个医疗系统

人工智能(AI)技术有望在各行各业产生重大的影响,医疗健康系统就是其中一个。比如与真人放射科医师相比....
发表于 05-15 16:06 843次 阅读
英伟达打造人工智能平台 有利于患者和整个医疗系统

对抗性样本真的是不自然且无意义的吗?

慢慢的,随着Nets越来越老,越来越聪明,他们开始在See-Far中发现越来越多的信号模式。他们发现....
的头像 电子发烧友网工程师 发表于 05-15 11:25 380次 阅读
对抗性样本真的是不自然且无意义的吗?

以图搜图背后的技术,你了解吗?

深度学习技术兴起之后,基于深度学习的图像特征开始成为图像检索的主流。我们知道CNN网络具有很多不同程....
的头像 将门创投 发表于 05-14 09:29 606次 阅读
以图搜图背后的技术,你了解吗?

一种基于少样本目标类别图像的图像翻译模型

少样本图像翻译器 G 由一个内容编码器 Ex,一个类编码器 Ey 和一个解码器 Fx 构成。其中内容....
的头像 电子发烧友网工程师 发表于 05-14 09:12 418次 阅读
一种基于少样本目标类别图像的图像翻译模型

到底谁才是发明了GAN的男人?

比如一个草原的照片上有一块污渍,我们知道被盖住的部分(缺失的数据)也是草,那么我们就可以训练神经网络....
的头像 新智元 发表于 05-14 08:53 372次 阅读
到底谁才是发明了GAN的男人?

IJCAI录取结果被吐槽太厉害,主席都出来放话了

微软亚洲研究院实习生,知乎ID:“张旭”表示:审稿人不熟悉所在领域,大量刚刚入门的学生参与评审并给出....
的头像 新智元 发表于 05-14 08:48 452次 阅读
IJCAI录取结果被吐槽太厉害,主席都出来放话了

对标巨头英伟达 依图科技发布云端AI芯片

5月9日,计算机视觉四小龙之一的依图科技在上海召开发布会,宣布推出其首款视觉推理AI芯片产品Ques....
的头像 电子发烧友网工程师 发表于 05-13 16:53 504次 阅读
对标巨头英伟达 依图科技发布云端AI芯片

中国 AI芯片独角兽吊打英伟达,吹捧还是硬实力?

真心希望国内少一些各种秒天秒地、宇宙第一的言论,换言之这是缺乏自信,秒杀一切不过是自嗨而已。
的头像 传感物联网 发表于 05-12 11:11 1085次 阅读
中国 AI芯片独角兽吊打英伟达,吹捧还是硬实力?

商汤科技AI芯片实力吊打英伟达是真实力吗

真心希望国内少一些各种秒天秒地、宇宙第一的言论,换言之这是缺乏自信,秒杀一切不过是自嗨而已。
的头像 传感物联网 发表于 05-12 11:11 1173次 阅读
商汤科技AI芯片实力吊打英伟达是真实力吗

中国AI芯片独角兽吊打英伟达 吹捧还是硬实力

近几年,AI不仅是最大科技热点,也是未来数十年科技发展趋势,站在AI风口下展望2019年,人工智能独....
的头像 IBM中国 发表于 05-12 09:22 628次 阅读
中国AI芯片独角兽吊打英伟达 吹捧还是硬实力

依图挺入“AI芯片”赛道 新产品“求索”视觉推理能力超越英伟达

算法即芯片时代来临,云端AI芯片视觉推理超越英伟达
的头像 电子发烧友网工程师 发表于 05-11 10:30 1061次 阅读
依图挺入“AI芯片”赛道 新产品“求索”视觉推理能力超越英伟达

英伟达的StyleGAN仅需小样本就可以做到图像到图像的转换!

为了训练FUNIT,我们使用来自一组对象类(例如各种动物物种的图像)中的图像,称为源类(source....
的头像 新智元 发表于 05-11 09:13 658次 阅读
英伟达的StyleGAN仅需小样本就可以做到图像到图像的转换!

对抗样本真的是bug吗?对抗样本不是Bug, 它们是特征

过去几年里,对抗样本在机器学习社区中得到了极大的关注。关于如何训练模型使它们不易受到对抗样本攻击的工....
的头像 新智元 发表于 05-10 08:54 405次 阅读
对抗样本真的是bug吗?对抗样本不是Bug, 它们是特征

GTX1660Ti评测 可以说是目前游戏本中最香的甜点卡

最近搭载英伟达最新GTX16系列显卡的游戏本陆续上市、发售,在这些游戏本产品中,集中搭载两款显卡,分....
的头像 39度创意研究所 发表于 05-09 09:00 1348次 阅读
GTX1660Ti评测 可以说是目前游戏本中最香的甜点卡

一份深度学习“人体姿势估计”全指南,从DeepNet到HRNet

一个部件表示目标对象某部分图形的模板。“弹簧”显示部件之间的连接方式,当部件通过像素位置和方向进行参....
的头像 电子发烧友网工程师 发表于 05-08 17:10 680次 阅读
一份深度学习“人体姿势估计”全指南,从DeepNet到HRNet

如何使用多注意力长短时记忆进行实体属性的情感分析

属性情感分析是细粒度的情感分类任务。针对传统神经网络模型无法准确构建属性情感特征的问题,提出了一种融....
发表于 05-08 17:07 49次 阅读
如何使用多注意力长短时记忆进行实体属性的情感分析

英伟达的TK1模块搭配DLP2000EVM模块,通过I2C修改投影模块的原始图片怎么做?

目前我参考TK1的手册,按照 的教程, 下载了i2ctools工具,然后硬件连接i2c的数据线和时钟线,通过i2cdetect等命令查看了地址,...
发表于 04-25 16:46 183次 阅读
英伟达的TK1模块搭配DLP2000EVM模块,通过I2C修改投影模块的原始图片怎么做?

拿黑白的图像显示位图都是黑框是怎么回事?

为什么我拿一张黑白的图像 让显示位图 黑的显示黑 图片白的背景也显示为黑啊 结果就是一个黑框 求解...
发表于 04-04 06:36 71次 阅读
拿黑白的图像显示位图都是黑框是怎么回事?

Modelsim 与Matalb模拟视频流仿真

Modelsim 与Matalb模拟视频流仿真   本章节主要搭建一个视频流Modelsim仿真,在基于FPGA视频图像算法开发过程...
发表于 03-03 18:11 451次 阅读
Modelsim 与Matalb模拟视频流仿真

基于FPGA的rgb与yuv颜色空间转换

基于FPGA的rgbtoyuv颜色空间转换一、概述    一般来说,摄像头输出的格式有RGB、YUV(Ycbcr)RAW图像格...
发表于 03-03 17:59 473次 阅读
基于FPGA的rgb与yuv颜色空间转换

基于Verilog的垂直投影实现

基于Verilog的垂直投影实现微信公众号:FPGA自习室一、概述投影,在立体几何中我们学到过,是空间直线在某个方向上的投影,...
发表于 03-03 17:51 375次 阅读
基于Verilog的垂直投影实现

基于Verilog的车牌精确定位

基于Verilog的车牌精确定位一、概要针对车牌识别项目,车牌定位的准确与否直接影响到车牌字符的识别和提取。目前关于车牌定位的...
发表于 03-03 17:36 873次 阅读
基于Verilog的车牌精确定位

如何在原理图中不显示s2p文件名

嗨,有人知道如何在原理图中不显示s2p文件名吗? 谢谢你:FLJ于2014年3月14日上午7点14分 以上来自于谷歌翻译 &nbs...
发表于 01-15 14:38 162次 阅读
如何在原理图中不显示s2p文件名

清洗误标注的开发集和测试集样本

在进行误差分析时,你可能会注意到一些开发集的样本被误标注(mislabeled )了。此处的“误标注”指的是图像在使用算法处理前,已...
发表于 12-19 09:48 465次 阅读
清洗误标注的开发集和测试集样本

建立开发集和测试集(总结)

• 被选择作为开发集和测试集的数据,应当与你未来计划获取并对其进行良好处理的数据有着相同的分布,而不一定和训练集的数据分布...
发表于 12-14 10:56 361次 阅读
建立开发集和测试集(总结)