0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

艺术创作过程中与生成对抗网络碰撞出的火花

zhKF_jqr_AI 来源:未知 作者:李倩 2018-09-17 08:56 次阅读

编者按:本文作者Helena Sarin是一名艺术家,同时也是一位神经网络开发者。在这篇文章中,她讲述了自己在艺术创作过程中与生成对抗网络碰撞出的火花。

美国画家Jackson Pollock曾说:“所有的一切都是建筑游戏,有些人会用笔刷,有人会用铲子,还有人会选择一支笔。”

而我自己选择了神经网络。我是一名艺术家,但同时我也开发了很多商用软件。但是此前,艺术和编程在我的生活中完全毫无关联。除了偶尔用计算机作图进行生成艺术的处理,我所有的作品都是进行模拟,直到我发现了生成对抗网络(GANs)。

自从2014年GANs发明生成之后,机器学习社区就出现了很多有关GAN的技术。在这篇文章中,我将大概讲解为什么GANs是如此优秀的艺术类工具,以及我是怎样用它创造艺术作品的。

以下是我的一些艺术作品:

艺术家眼中的GAN

所以到底什么是GAN?为什么它对艺术家很有吸引力?

我们可以将艺术的创作过程看作一种游戏。游戏动作发生在艺术工作室中,其中有两位玩家:评论者和艺术初学者。初学者的目标是创作大师级别的画作,但不能抄袭。而评论者的目标是判断他看到的画作是大师的作品还是初学者的作品。一次次判断之后,初学者和评论者会进行比赛,初学者会越来越熟练地进行模仿,风格越来越像大师。而评论者会更容易辨别出哪幅画作来自初学者,二者互相督促,水平越来越高。

GAN就是模拟这一过程的神经网络,评论者的角色由判别网络D扮演,艺术初学者的角色由生成网络G扮演。一次次“游戏”过后,生成网络模拟的大师画作风格会更逼真:

那么你的角色是什么呢?轻微调整游戏规则(网络的超参数),成为了美术馆馆长(curator)。作为馆长你要从GAN的输出中进行挑选,因为GAN会生成很多不同结构、颜色的组合,与其训练的样本图片有各种不同的差异。所以作为馆长也不容易,有时你会觉得很多图像都很有趣,想把它们都留下来。

用上述GAN进行创作是很有趣的,可以探索各种新模型和数据集。和其他数字化工具不同,GAN总能给人惊喜,它可以创造出比滤镜或普通的风格迁移更特别的效果。

CycleGAN

应用于艺术生成的深度学习技术种类很多,常见的有以下几种:

GAN/DCGAN,也就是上文描述的经典生成对抗网络:

神经网络迁移,将一张图像的风格迁移到另一张图像中:

成对图像转换技术,例如Pix2Pix。这种技术需要含有源图像和目标图像的数据集进行训练:

非成对的图像转换技术则不用对应数据集(例如Cycle GAN):

计算机创作的很多画作都是由以上技术生成的,但是为什么最终我只选择了CycleGAN呢?简而言之,CycleGAN训练出来的网络可以具有其中一个数据集的形式(输入域)和另一个数据集的结构(目标域)。这一点非常重要。计算机视觉专家Alyosha Efros表示,我们“仍然非常注重结构”。

我第一次用CycleGAN完成一个项目后,觉得它在模拟结构上太强大了,所以想将其用在生成艺术上。CycleGAN能让你处理高分辨率、小尺寸的图像数据集,并且训练模型的速度非常快!

我第一项任务是将食物和饮料的照片转换成静物素描风格。每个数据集含有300到500张高分辨率图像。那一整个月,我几乎每天做各种实验,想把输入数据尺寸变小。然后我花了好几个小时对输出图像进行筛选,最终效果如图:

带有鲜花的图片转换成了类似零食的东西,饮料的照片也变得非常有趣。我把最终结果给我的艺术导师看,她说:“我不懂计算机,但是你这个很有前景啊!加油干!”

接着我就继续实验,随着我对自己的框架越来越熟悉,在实验中我加入了不同数据集:

实验建议

用了几个月CycleGAN,我学到了以下几个小技巧:

正如CycleGAN最初的论文中说的:“在训练数据上转换比在测试数据上更吸引人。”所以在很多情况下,我用训练数据的子集进行推理,我的目标并不是泛化,而是创造吸引人的艺术。

通常,我在较大的数据集上开始对模型训练,然后在较小的子集上进行微调。这里就是一个例子:这些图片是在一个风景模型上生成的,之后再日本诗集封面的模型上微调、

在模型训练的时候有必要查看仪表板。CycleGAN的偏好设置中可以设置展示频率,我设置的比较高。这一过程对我来说就像在冥想——盯着visdom的UI界面,随着损失函数的变化而呼气吐气。

随着训练,结果变得越来越有趣,增加了检查点保存的频率。

将实验中所有的参数保存下来,之后还能重新创造。

在推理过程中,目标图像不会影响生成图像的样子。这并不意味着你不需要关心目标集中有什么图像。记住,你有两个生成器,不要忽略第二个。

默认情况下,CycleGAN使用的实例规范化和batch尺寸都为1。但是一旦你学习了规则,就可以不受这个值的限制。如果你使用了批规范化,并且batch size大于1怎么办?

另一项值得运用的技术是CycleGAN chaining:训练一个模型,然后用其结果去训练另一个。

下方的图像是上述两条tips的结果展示。我用了鲜花照片数据集和人像素描数据集。第一个模型用批规范化在两数据集之间进行灰度迁移。第二个模型对第一个模型的结果上了色。

要注意额外的结构,尤其当在补丁上训练时。我最初在食物和静物素描之间进行转换的模型,大多数情况下都将静物变成了粥,所以一定要花点时间处理训练数据集。

另一方面,我的水彩老师曾经总说:“其他的事情交给媒介工具做就好。”素描只提供简单的基础架构,之后的工作就交给网络了,我只是对#brushGAN工具包进行调整。(该工具包含有保存过的训练模型和用作输入的数据集等等)

工具使用

目前为止,我们已经谈到了收集数据和开始利用数据。现在我们要谈谈工具的使用。

无论你选择哪种神经网络创造生成性艺术作品,深度学习的设置都差不多。我最初的设置是在AWS上进行的,虽然它在计算方面比较便宜,但是存储问题比较令人头疼。现在我有了自己的服务器:一个GTX 1080 GPU、一个275GB的SSD和两个1TB的HDD。

接着是超参数,其中最重要的就是图像尺寸。CycleGAN通过设置可以对图像进行切割,但是可能达到的最大分辨率取决于你的硬件。在我的GTX 1080上,最大分辨率可以达到400×400。

数据

不要忘记数据集!训练深度学习网络,一定需要大量数据。很多AI艺术家用网络抓取的方法获取数据,但是我决定用自己的数据集,比如自己的照片或绘画作品。这样做有几种好处:

这样你的艺术作品会有一致性。

无需担心版权问题。

不用过多处理就能得到高分辨率图像。

只需一台相机就能轻松创建有丰富色彩和结构的数据集。

另外,我使用的数据机构和处理过程如下:

通用预处理:从手机上下载并调整照片

数据集构成:根据图片中的物体、内容、颜色和结构对它们进行区分

三种存储类型:

远程存储(例如Flickr这种云服务);

HDD:对未使用的数据集和权重进行长期存储;

SSD:对数据集和权重进行中短期存储。

针对GAN的批处理:我使用的是Jupyter notebooks,可以进行图像切割、canny边缘检测、图像分类等等。

结语

目前,CycleGAN已经成为我艺术创作中的重要部分,即使选择新的GAN类型进行实验,CycleGAN也是生成图像的重要工具。下面是我用CycleGAN提高SNGAN输出效果的结果:

关于安装CycleGAN,我是用的是这一教程:github.com/junyanz/pytorch-CycleGAN-and-pix2pix,它非常简洁。

对我来说,这项实验最棒的部分是它们让我的视觉视野更开阔了,能欣赏到更多色彩和结构,给予我更多灵感。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4538

    浏览量

    98424
  • GaN
    GaN
    +关注

    关注

    19

    文章

    1744

    浏览量

    67187
  • 机器学习
    +关注

    关注

    66

    文章

    8061

    浏览量

    130439

原文标题:一位艺术家眼中的GAN:它给予我更多灵感

文章出处:【微信号:jqr_AI,微信公众号:论智】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Python遇上物联网又会碰撞出怎样的火花

    Python火到什么程度?学习python能做什么?Python遇上硬件、遇上物联网又会碰撞出怎样的火花呢?
    发表于 08-27 07:26

    图像生成对抗生成网络gan_GAN生成汽车图像 精选资料推荐

    图像生成对抗生成网络ganHello there! This is my story of making a GAN that would generate images of cars
    发表于 08-31 06:48

    图像生成对抗生成网络

    图像生成对抗生成网络ganby Thalles Silva 由Thalles Silva暖身 (Warm up)Let’s say there’s a very cool party going
    发表于 09-15 09:29

    新的艺术创作:利用神经网络画油画

    ——特别是在算法尝试绘制人脸时。然而,这也正是此项实验的重点所在:通过观察神经网络如何“傻傻”地进行学习,我们将能够一窥人工智能艺术创作的基本思路。
    发表于 07-16 11:11 1628次阅读

    生成对抗网络模型综述

    ,开创性地提出了生成对抗网络( GAN)。生成对抗网络包含一个生成模型和一个判别模型。其中,生成
    发表于 04-03 10:48 1次下载
    <b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>模型综述

    AI的创作是真正的艺术吗?你会买吗?

    是Hugo Caselles-Dupré,Pierre Fautrel 和 Gauthier Vernier,他们致力于探索艺术和 AI之间的接口,他们使用的方法是 GAN(生成对抗网络)。
    的头像 发表于 09-03 08:35 5341次阅读
    AI的<b class='flag-5'>创作</b>是真正的<b class='flag-5'>艺术</b>吗?你会买吗?

    生成对抗网络在计算机视觉领域有什么应用

    生成对抗网络(GAN, Generative Adversarial Networks)的出现是计算机视觉领域又一里程碑式的发展,它为解决各种图像预测问题提供了新型工具。以此为目的,本文通过相关文献
    发表于 12-06 15:29 22次下载
    <b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>在计算机视觉领域有什么应用

    如何使用生成对抗网络进行信息隐藏方案资料说明

    针对信息隐藏中含密栽体会留有修改痕迹,从根本上难以抵抗基于统计的隐写分析算法检测的问题,提出一种基于生成对抗网络( GAN)的信息隐藏方案。该方案首先利用生成对抗网络中的
    发表于 12-12 16:57 6次下载
    如何使用<b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>进行信息隐藏方案资料说明

    当奥迪、百达翡丽、兰蔻大牌遇上新媒体艺术,会碰撞出怎样的火花

    当新媒体艺术装置沉浸式空间、互动式体验与国际品牌相结合,会碰撞出怎样的火花呢? 投石科技带你看奥迪、百达翡丽、兰蔻、多芬、相宜本草、宝马、索尼、Grand Seiko腕表等大牌如何将艺术
    发表于 03-26 10:48 2317次阅读

    我们离AR艺术创作还有多远?

    Heather此前是一名多媒体技术专员,在此期间她发现AR艺术创作的潜力。她的艺术创作几乎都是在讲述一个故事,希望通过艺术和观众建立联系,而不是一个孤零零的技术摆在那。
    的头像 发表于 08-10 10:33 1594次阅读

    基于辅助分类器生成对抗网络的图像识别

    针对基于辅助分类器生成对抗网络( ACGAN)的图像分类算法在训练过程中稳定性低且分类效果差的问题,提出一种改进的图像识别算法CP- ACGAN。对于网络结构,在判别
    发表于 06-03 11:41 4次下载

    基于像素级生成对抗网络的图像彩色化模型

    基于像素级生成对抗网络的图像彩色化模型
    发表于 06-27 11:02 4次下载

    NVIDIA Omniverse 3D 模拟和协作平台推动艺术创作或设计流程

    介绍使用 NVIDIA Omniverse 3D 模拟和协作平台推动艺术创作或设计流程的个人创作者和开发者。
    的头像 发表于 07-27 14:30 950次阅读

    NVIDIA Omniverse 3D 模拟推动艺术创作或设计流程

    Vanessa Rosa 的艺术创作融合了传统和现代技术,超越了时间限制,为古老的故事注入新的生命并畅想未来的无限可能。
    的头像 发表于 09-20 16:28 494次阅读

    PyTorch教程20.2之深度卷积生成对抗网络

    电子发烧友网站提供《PyTorch教程20.2之深度卷积生成对抗网络.pdf》资料免费下载
    发表于 06-05 10:21 2次下载
    PyTorch教程20.2之深度卷积<b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>