发烧友10周年庆典,全网超值优惠来袭!千元现金券,下单抽奖赶紧参与》》

一种新型的GAN,在测试期间只需几张示例图像

2019-05-13 09:17 次阅读

5月9日,英伟达首席研究科学家刘明宇在社交网站公布了其最新研究成果:一种新型的GAN,在测试期间只需几张示例图像,就可以将图像转换为以前从未见过的对象类型。GAN之父Ian Goodfellow也对其进行了转发支持。

人类在泛化方面非常擅长。

当给出一张以前看不见的外来动物的照片时,我们可以用不同的姿势形成同一动物的生动的心理图像,特别是当我们在之前的姿势中遇到过相似但不同的动物(图像)时。

例如,一个人第一次看到一只站立的老虎,我们可以毫不费力地想象它躺下来的样子。

同时,也很容易获得一种伴认知泛化能力,即其他的动物躺下来会是什么样子。

对于现有无监督图像到图像的转换算法,虽然已经在跨图像类转换复杂的外观变化方面非常成功,但基于先验知识从新类的少数样本泛化的能力完全超出了它们的范围。 具体地说,仍然在两个方面受到限制:

首先,模型通常需要在训练期内看到来自目标类的大量图像。

其次,在测试期内,不能将用于转换任务的训练模型重新用于另一转换任务。

简言之,现有的算法不支持小样本泛化。

为了弥合人机与机器想象能力之间的差距,最近英伟达的研究人员提出了几个无监督的图像到图像转换框架(FUNIT)来解决上述限制。

在训练时,FUNIT模型会学习在从一组源类中采样的任何两个类之间转换图像。

在测试时,模型会显示一些它从未见过的目标类的图像。该模型利用这些少量示例图像将源类的输入图像转换为目标类。

首先假设人类的小样本泛化能力是从他们过去的视觉经验中发展出来的 - 如果一个人在过去看过更多不同的对象类别,他们可以更好地想象一个新对象的视图。

基于该假设,研究人员使用包含许多不同对象类的图像的数据集来训练FUNIT模型,以模拟过去的视觉体验。具体来说,他们通过利用另一个类的少量示例图像来训练模型以将图像从一个类转换为另一个类。

假设通过学习从用于翻译任务的少数示例图像中提取外观模式,该模型学习了一种可推广的外观模式提取器,其可以在测试时应用于看不见的类的图像,用于少数镜头到图像到图像的转换任务。

左:训练。 训练集由各种对象类(源类)的图像组成。 我们训练模型来在这些源对象类之间转换图像。右:部署。 我们向训练模型显示目标类的极少数图像,这足以将源类的图像转换为目标类的类似图像,即使模型在训练期间从未见过来自目标类的单个图像。

请注意,FUNIT生成器需要两个输入:1)内容图像(红色线圈选)和2)一组目标类图像(绿色线圈选)。 它旨在生成类似于目标类图像的输入图像的转换。

架构及转换过程

框架基于生成对抗网络(GAN),实验表明,通过将对抗性训练方案与新颖的网络设计相结合,研究人员实现了所需的几次无人监督的图像到图像转换能力。 通过对三个数据集的广泛实验验证,包括使用各种性能指标与几种基线方法的比较,验证了框架的有效性。

少样本无监督的图像到图像转换示例

研究人员展示了动物面部转换,鸟类转换,花卉转换和食物转换的结果。对于每个例子,

y1和y2是测试期间可用的目标类的少数示例图像,

x是源类的输入图像,

x bar是从源类到目标类的转换。

模型能够将豹子转换成沙皮狗,即使它在训练期间从未见过单一的沙皮狗图像。

动物面部转换

鸟类转换

花卉转换

食物转换

结果表明,在训练过程中,当模型没有看到任何目标类的图像时,FUNIT可以基于小样本集生成可信的转换输出。

我们注意到输出图像中的对象与输入具有相似的姿势。

框架的局限性

当看不见的对象类的外观与源类的外观(例如花和动物的面部)显着不同时。 拟议的FUNIT框架未能产生有意义的转换输出。

论文摘要

无监督的图像到图像的转换方法,是指学习利用图像的非结构化(未注册)数据集,将给定类中的图像映射到不同类中的类似图像。

虽然非常成功,但是当前的方法需要在训练时访问源类和目标类中的许多图像。 我们认为这极大地限制了它们的使用。

人类通常具有可以从少数例子中找到新物体本质的能力,研究人员以此为灵感并加以推广,他们寻求一种小样本的、无监督的图像到图像的转换算法,该算法适用于以前从未见过的目标类别。 在测试时仅指定几个示例图片,该模型通过将对抗训练方案与新颖的网络设计相结合,实现了这种小样本的泛化能力。 通过广泛的实验验证和与基准数据集的几种基线方法的比较,验证了所提出框架的有效性。

代码:

https: //nvlabs.github.io/FUNIT

Demo:

https://nvlabs.github.io/FUNIT/petswap.html

论文:

https://arxiv.org/pdf/1905.01723.pdf

原文标题:英伟达发布新型GAN,豹子秒变沙皮狗!| 技术头条

文章出处:【微信号:rgznai100,微信公众号:AI科技大本营】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

使用Node.js在深度学习中做图片预处理

做图片预处理的目的是为了解决对象识别中训练集不足的问题。当对象识别应用于某个专用领域的时候,就会遇到....
的头像 倩倩 发表于 09-20 15:40 77次 阅读
使用Node.js在深度学习中做图片预处理

基于序列信息来预测潜在的抗癌多肽的深度学习方法

中国科学院新疆理化技术研究所研究人员首次开发和提出了基于序列信息来预测潜在的抗癌多肽的深度学习方法。....
的头像 倩倩 发表于 09-20 15:13 63次 阅读
基于序列信息来预测潜在的抗癌多肽的深度学习方法

最常见的机器学习面试问题及其相应的回答

在监督学习中,机器在标记数据的帮助下进行训练,即带有正确答案标记的数据。而在无监督机器学习中,模型自....
的头像 倩倩 发表于 09-20 15:01 99次 阅读
最常见的机器学习面试问题及其相应的回答

英伟达推出最新嵌入式计算机Jetson Nano

英伟达正在为其Jetson产品系列推出一款新的嵌入式计算机,用于开发部署人工智能,这是迄今为止最小的....
发表于 09-18 11:47 322次 阅读
英伟达推出最新嵌入式计算机Jetson Nano

实践经验:在深度学习中喂饱GPU

先说下跑 cifar 的时候,如果只是用 torchvision 的 dataloader (用最常....
的头像 新智元 发表于 09-13 17:07 339次 阅读
实践经验:在深度学习中喂饱GPU

SuperGLUE正式上线:NLP模型们,来迎接挑战吧!

GLUE全称是通用语言理解评估(General Language Understanding Eva....
的头像 新智元 发表于 09-13 16:51 438次 阅读
SuperGLUE正式上线:NLP模型们,来迎接挑战吧!

Adam模型的新改进“Rectified Adam”

我已经在FastAI框架下测试了RAdam,并快速获得了高精度新记录,而不是ImageNette上两....
的头像 新智元 发表于 09-13 16:31 128次 阅读
Adam模型的新改进“Rectified Adam”

AI换脸软件 “ZAO”首次做出回应

“ZAO”称,在用户使用过程中,为保护肖像权不被冒用,“ZAO”设置了真人验证环节,整个过程仅为验证....
的头像 倩倩 发表于 09-11 16:13 590次 阅读
AI换脸软件 “ZAO”首次做出回应

英伟达发布最新GPUDirect储存技术

Nvidia发展GPUDirect储存技术,大幅提升GPU加载大型资料集的速度,使用GPUDirec....
发表于 09-11 11:51 81次 阅读
英伟达发布最新GPUDirect储存技术

关于为Simulink模型添加注解的五种方式分析和介绍

如果使用封装技术创建模块的自定义接口,用户仍然可以在 Mask Editor 的 Documenta....
的头像 MATLAB 发表于 09-11 11:05 104次 阅读
关于为Simulink模型添加注解的五种方式分析和介绍

PyTorch可以和TensorFlow一样快,有时甚至比TensorFlow更快了?

我听说 PyTorch 在 cuDNN 级别上进行了更好的优化。有人能提供更多细节吗?是什么阻止了 ....
的头像 新智元 发表于 09-07 07:50 352次 阅读
PyTorch可以和TensorFlow一样快,有时甚至比TensorFlow更快了?

把扎克伯格的脸放到emoji表情包上是一番怎样的体验?

但今天要说的这个表情包就不一样了,有外国网友把真人头像和流行的emoji表情结合在了一起。至于结合在....
的头像 新智元 发表于 09-07 07:47 322次 阅读
把扎克伯格的脸放到emoji表情包上是一番怎样的体验?

HoloLens 2:至今为止交互最自然的MR设备

从2016年5月23日HoloLens一代产品进入中国市场,我们作为一个创业团队,为客户和合作企业定....
的头像 VR陀螺 发表于 09-07 07:28 767次 阅读
HoloLens 2:至今为止交互最自然的MR设备

中国AI软件生态——产业不断细分,应用百花齐放

2019年中国人工智能通用软件平台市场形成了以国内外云服务商(以阿里、百度、腾讯、华为、AWS、微软....
的头像 墨记 发表于 09-06 09:18 4688次 阅读
中国AI软件生态——产业不断细分,应用百花齐放

英伟达最新推出基于嵌入式的小电脑

在游戏者开发大会上,英伟达宣布发布一款售价99美元名为Jetson Nano人工智能小电脑。据介绍,....
发表于 09-05 11:44 96次 阅读
英伟达最新推出基于嵌入式的小电脑

美国三院院士图灵奖得主Manuel Blum: 如何为机器赋予意识?

Manuel Blum:朝着有意识的人工智能发展,这是电脑的架构,是由一个神经科学家所开发的。这是一....
的头像 新智元 发表于 09-01 09:19 243次 阅读
美国三院院士图灵奖得主Manuel Blum: 如何为机器赋予意识?

OpenAI宣布,发布了7.74亿参数GPT-2语言模型

就在本周,OpenAI宣布,发布了7.74亿参数GPT-2语言模型,15.58亿的完整模型也有望于几....
的头像 新智元 发表于 09-01 09:10 216次 阅读
OpenAI宣布,发布了7.74亿参数GPT-2语言模型

一种新的机器学习技术:FPGA加速机器学习推理,提速175倍轻松处理EB数据集

大型强子对撞机每秒造成大约4000万次碰撞。筛选如此大量数据,需要强大的计算机,来识别其中需要科学家....
的头像 新智元 发表于 09-01 07:59 400次 阅读
一种新的机器学习技术:FPGA加速机器学习推理,提速175倍轻松处理EB数据集

人工神经网络能够从动物大脑中学到什么?

尽管近年来人工智能取得了许多进步,但人工神经网络仍远未接近人类的智能。ANN可以在国际象棋和围棋等游....
的头像 新智元 发表于 09-01 07:32 324次 阅读
人工神经网络能够从动物大脑中学到什么?

Waymo宣布开放一个重要的自动驾驶数据库

此次Waymo开放的数据集是通过其自动驾驶车辆在的1000个驾驶段上收集的数据,Waymo希望这些数....
的头像 新智元 发表于 09-01 07:20 1041次 阅读
Waymo宣布开放一个重要的自动驾驶数据库

布朗大学90后研究生:我们复现了15亿参数GPT-2模型,你也行!

本模型的实现基于Grover模型,并修改其代码库以匹配GPT-2的语言建模训练目标。由于他们的模型是....
的头像 新智元 发表于 09-01 07:11 214次 阅读
布朗大学90后研究生:我们复现了15亿参数GPT-2模型,你也行!

硬件架构走向多元化,英特尔要以oneAPI一“统”天下?

英特尔于去年12月宣布推出oneAPI项目,并将于今年第四季度发布开发者测试版本。日前,在英特尔的沟....
的头像 墨记 发表于 08-31 07:13 2384次 阅读
硬件架构走向多元化,英特尔要以oneAPI一“统”天下?

人工智能技术正在扎扎实实地落地到各个行业中,真正发挥出了赋能作用

事实上,经过近几年的快速发展,中国人工智能产业正进入落地实践阶段。除了人工智能技术不断取得突破并加速....
的头像 倩倩 发表于 08-30 11:27 432次 阅读
人工智能技术正在扎扎实实地落地到各个行业中,真正发挥出了赋能作用

2019年第二季全球前十大IC设计公司营收排名出炉

根据集邦咨询旗下拓墣产业研究院最新统计,全球前十大IC设计业者2019年第二季营收排名出炉,受中美贸....
的头像 章鹰 发表于 08-29 13:14 7117次 阅读
2019年第二季全球前十大IC设计公司营收排名出炉

图像传输总是在黑白,绿,等不停地变换是怎么回事?

我用摄像头做图像传输,原来直接插到STM32板子上,可以得到很清楚的图像,但是把它用鲁邦线连接插到板子上,图像老是有特效,...
发表于 08-29 04:35 77次 阅读
图像传输总是在黑白,绿,等不停地变换是怎么回事?

华为推出高端AI芯片昇腾910 挑战江湖霸主英伟达

华为轮值主席徐直军在这里推出华为高端 AI 芯片昇腾 910 ,开启华为在先进技术领域挑战硅谷的最新....
发表于 08-27 16:31 638次 阅读
华为推出高端AI芯片昇腾910 挑战江湖霸主英伟达

英伟达联合AutoX与NEVS于2020年底推出机器人出租车原型

近日,英伟达宣布将与自动驾驶技术公司AutoX、电动车厂商NEVS于2020年底推出机器人出租车原型....
的头像 电子发烧友网工程师 发表于 08-27 11:15 708次 阅读
英伟达联合AutoX与NEVS于2020年底推出机器人出租车原型

华为推出AI芯片,与几大巨头“群雄逐鹿”

华为推出AI芯片 或与高通、英伟达等展开“群雄逐鹿”
的头像 陈翠 发表于 08-27 09:04 799次 阅读
华为推出AI芯片,与几大巨头“群雄逐鹿”

8168采集图像直接播放锐化严重该怎么办?

我们的设备 采集和编码解码后 图像正常 但是采集后 经过一次dup 一次swms 在播放后 发现图像锐化严重 尤其是物体边缘 非常的模糊...
发表于 08-26 13:50 100次 阅读
8168采集图像直接播放锐化严重该怎么办?

英伟达将发布最新研发的嵌入式计算机

NVIDIA在硅谷召开了GTC 2019主题演讲,NVIDIA CEO黄仁勋发表演讲,正式发布了机器....
发表于 08-26 11:11 108次 阅读
英伟达将发布最新研发的嵌入式计算机

旺宏ArmorFlash存储器为ADAS提供安全数据存储

ArmorFlash通过L5自动驾驶解决方案,为基于AI的L2以上高级驾驶辅助系统(ADAS)提供高....
的头像 电子发烧友网工程师 发表于 08-23 14:25 967次 阅读
旺宏ArmorFlash存储器为ADAS提供安全数据存储

在Ml505上使用TFT控制器显示图像失真该怎么办?

你好我试图用xps_tft控制器版本2.01a和DVI接口显示图像。 设计是按照本教程进行的:http://www.xilinx.com/products/boards...
发表于 08-23 11:30 65次 阅读
在Ml505上使用TFT控制器显示图像失真该怎么办?

Raspberry Pi与英伟达谁才是最佳的嵌入式电脑

Raspberry 基金会发布了开发者为之兴奋的 Raspberry Pi 4,其不仅在性能上进行了....
发表于 08-20 17:13 194次 阅读
Raspberry Pi与英伟达谁才是最佳的嵌入式电脑

构建高质量数据集,推动人工智能快速发展

当前人工智能还面临诸多挑战,例如数据孤岛问题、隐私保护问题、安全问题等瓶颈。一项2018年的研究显示....
的头像 倩倩 发表于 08-20 15:04 479次 阅读
构建高质量数据集,推动人工智能快速发展

英特尔FPGA加速卡 与英伟达的正面竞争

英特尔发布了搭载英特尔Arria 10GX FPGA芯片的可编程加速卡;戴尔和富士通这两家OEM厂商....
发表于 08-19 17:53 152次 阅读
英特尔FPGA加速卡 与英伟达的正面竞争

赛灵思将与英伟达英特尔展开FPGA芯片大战

据赛灵思介绍,ACAP是一个高度集成的多核异构计算平台,它的核心是新一代FPGA架构,能根据各种应用....
发表于 08-19 14:56 177次 阅读
赛灵思将与英伟达英特尔展开FPGA芯片大战

英伟达第二季度业绩收入和利润继续下滑

英伟达(NVIDIA)16日公布了2020财年第二季度的销售业绩。 NVIDIA报告截至2019年7....
的头像 刘伟DE 发表于 08-19 11:11 2229次 阅读
英伟达第二季度业绩收入和利润继续下滑

英伟达公布2020年第二季度财报,盈利和营收均超出华尔街分析师预期

北京时间8月16日凌晨消息,英伟达今日公布了该公司的2020财年第二季度财报。报告显示,英伟达第二季....
的头像 牵手一起梦 发表于 08-16 17:28 482次 阅读
英伟达公布2020年第二季度财报,盈利和营收均超出华尔街分析师预期

Nvidia打破实时对话AI的训练和推理用时记录

Nvidia用于开发和运行可理解和响应请求的对话式AI的GPU强化平台,已经达成了一些重要的里程碑,....
的头像 FPGA开发圈 发表于 08-15 14:26 315次 阅读
Nvidia打破实时对话AI的训练和推理用时记录

高通Q-Sync技术,自动同步显示屏的刷新率与游戏帧率

英伟达的G-Sync和AMD的FreeSync大家都不陌生了,他们是为了解决画面撕裂的而诞生的,主要....
的头像 科技美学 发表于 08-13 17:47 449次 阅读
高通Q-Sync技术,自动同步显示屏的刷新率与游戏帧率

英伟达嵌入式计算平台让神经网络走进终端设备

在近日于英伟达总部举行的Jetson TX2 Editor's Day 活动中,英伟达向人们展示了新....
发表于 08-12 17:06 91次 阅读
英伟达嵌入式计算平台让神经网络走进终端设备

英伟达最新推出JetsonTX2嵌入式平台

NVIDIA近日发布了旗下新款嵌入式开发模块——Jetson TX2,该开发模块针对无人机、自动驾驶....
发表于 08-12 11:23 141次 阅读
英伟达最新推出JetsonTX2嵌入式平台

英伟达将助力医疗行业的成本降低与工作负担

在健康医疗的云端运算、机器学习等人工智能发展上,计算机影像处理的技术发展得最快最多,英伟达解决方案架....
发表于 08-12 09:21 855次 阅读
英伟达将助力医疗行业的成本降低与工作负担

物理学家首次捕捉到量子纠缠的图像

为了捕捉Bell纠缠的图像,物理学家们创造了一个系统,在他们称之为“非常规物体”的量子光源上发射纠缠....
的头像 IEEE电气电子工程师学会 发表于 08-10 10:08 315次 阅读
物理学家首次捕捉到量子纠缠的图像

英伟达展示了两款AR眼镜原型单眼对角线视场超过了100度

“Prescription AR”是一款嵌入prescription AR的显示设备。英伟达指出:“....
发表于 08-04 09:17 209次 阅读
英伟达展示了两款AR眼镜原型单眼对角线视场超过了100度

不知道菜谱怎么看,让AI来帮你做示范吧

在这篇文章中,研究人员结合基于注意力的菜谱相关模型和StackGAN来从食材中生成对应的菜品图像,随....
的头像 将门创投 发表于 08-02 16:00 466次 阅读
不知道菜谱怎么看,让AI来帮你做示范吧

Facebook的研究人员提出了Mesh R-CNN模型

这一研究的目标是通过单张图像输入,对图像中的物体进行检测、获取不同物体的类别、掩膜和对应的三维网格,....
的头像 将门创投 发表于 08-02 15:51 333次 阅读
Facebook的研究人员提出了Mesh R-CNN模型

基于编码器-解码器的架构来从水下图像重建出清晰的图像

研究人员首先充分考虑了水下成像过程中的波长相关衰减、光散射和水体的影响,合成了丰富的数据用于模型训练....
的头像 将门创投 发表于 08-02 15:33 450次 阅读
基于编码器-解码器的架构来从水下图像重建出清晰的图像

英伟达研究团队的公布的“AI神笔”吗?

今年3月英伟达的新科技GauGAN在GTC 2019上一经推出,获得无数手残党点赞。GauGAN的拼....
的头像 将门创投 发表于 08-02 15:29 481次 阅读
英伟达研究团队的公布的“AI神笔”吗?

多家机构联合提出MMDetection工具箱助力目标检测新发展

首先是模块化的设计:研究人员将目标检测的网络架构分解成不同的原件,并构建了多样化的模块似的用户可以根....
的头像 将门创投 发表于 08-02 15:26 303次 阅读
多家机构联合提出MMDetection工具箱助力目标检测新发展

研究人员提出了一种多尺度高效率的新模型FAMED-Net

而基于学习的方法采用了数据驱动的方法来学习出图像特征和透射率之间的关系,克服了手工选取先验特征的不足....
的头像 将门创投 发表于 08-02 15:08 344次 阅读
研究人员提出了一种多尺度高效率的新模型FAMED-Net

如何将图像放在我想要的地方?

亲爱的,我希望保存图像为用户报告单词,我可以将图像文件发送到单词,但我不知道如何将图像放在我想要的地方?任何帮助将不胜感...
发表于 07-25 07:49 61次 阅读
如何将图像放在我想要的地方?

如何正确插入图像

对不起,伙计们,但我需要确定如何正确插入图像。我找不到另一个邮局了。 从剪贴板粘贴。 以上来自于百度翻译   ...
发表于 07-17 06:13 160次 阅读
如何正确插入图像

为什么guibuilder里面的图像显示控件移植到开发版图像就显示不出来了?

其它的控件,滚动条,按钮什么的都显示正常,就图片显示不出来。。。代码是自动生成的,看来看去都觉得没什么错啊。。。有没有遇...
发表于 06-27 04:35 436次 阅读
为什么guibuilder里面的图像显示控件移植到开发版图像就显示不出来了?

求解答这个图像条纹干扰问题?

这几天一直调试样机,图像有很严重的条纹干扰,然后我把SENSOR的几路电源各加了一个磁珠,现在SENSOR在摄像的时候条...
发表于 06-05 22:37 195次 阅读
求解答这个图像条纹干扰问题?

英伟达的TK1模块搭配DLP2000EVM模块,通过I2C修改投影模块的原始图片怎么做?

目前我参考TK1的手册,按照 的教程, 下载了i2ctools工具,然后硬件连接i2c的数据线和时钟线,通过i2cdetect等命令查看了地址,...
发表于 04-25 16:46 328次 阅读
英伟达的TK1模块搭配DLP2000EVM模块,通过I2C修改投影模块的原始图片怎么做?

拿黑白的图像显示位图都是黑框是怎么回事?

为什么我拿一张黑白的图像 让显示位图 黑的显示黑 图片白的背景也显示为黑啊 结果就是一个黑框 求解...
发表于 04-04 06:36 128次 阅读
拿黑白的图像显示位图都是黑框是怎么回事?

Modelsim 与Matalb模拟视频流仿真

Modelsim 与Matalb模拟视频流仿真   本章节主要搭建一个视频流Modelsim仿真,在基于FPGA视频图像算法开发过程...
发表于 03-03 18:11 585次 阅读
Modelsim 与Matalb模拟视频流仿真