Nvidia Research开发的深度学习模型，轻松地将粗糙的涂鸦变成照片级的写实杰作

一个新手画家可能会用画笔在画布上画画，目的是创作一幅壮美的日落景观图——崎岖的、白雪覆盖的山峰倒映在清澈的湖泊中——但最终画出来的只不过是一些看起来更像多色墨水点的东西。

但是，由 Nvidia Research 开发的深度学习模型却恰恰相反：它可以轻松地将粗糙的涂鸦变成照片级的写实杰作。该工具利用生成的对抗网络（GANs）将语意分割图转换为逼真的图像。

这款使用该模型的交互式应用程序，轻轻松松地就达到了后印象派画家的水平，它被命名为 GauGAN。

后印象派画家 Paul Gauguin 画了几幅自画像，包括这幅自 1885 年起就收藏在 Kimbell 艺术博物馆的作品（照片来自 Wikimedia Commons）。

GauGAN 可以为从建筑师、城市规划者到景观设计师和游戏开发商的每个人提供一个强大的工具来创建虚拟世界。有了一个能够理解现实世界的人工智能，这些专业人员可以更好地设计出想要的原型，并快速改变它们。

NVIDIA 应用深度学习研究院副总裁 Bryan Catanzaro 说：「用简单的草图进行头脑风暴设计要容易得多，而且这项技术能够将草图转换成高度逼真的图像。」

Catanzaro 将 GauGAN 背后的技术比作「智能画笔」，它可以在粗略的语意分割图（即显示场景中对象位置的高级轮廓）中填充细节。

GauGAN 使用户可以画出语意分割图，并合成自己需要的场景，其中，这些分割图都需要相应的标签，如天空、大海或者雪。

经过 100 万张图片的训练，深度学习模型通过结果来填充景观：在池塘中画画，附近的元素如树木和岩石将在水中映射。将一个段标签从「草地」换成「雪」，整个图像将变为冬季场景，原来枝繁叶茂的树木则变成了不毛之地。

Catanzaro 说：「这就像一幅彩色的图画，描绘了一棵树在哪里，太阳在哪里，天空在哪里。」然后，神经网络能够根据对真实图像的了解，填充所有细节和纹理，以及反射、阴影和颜色。

由于 GANs 是由一对网络——生成器和对抗器组成的，因此，尽管缺乏对真实世界的了解，但它仍然可以生成让人满意的图像。生成器创建图像并呈现给对抗器。对抗器在真实图像上训练后，反馈给生成器如何逐素提高合成图像的真实性。

经过对真实图像的训练后，对抗器知道真实的池塘和湖泊是包含反射的——因此生成器学会了创造令人惊叹的逼真图像。

该工具还允许用户添加样式过滤器，更改生成的图像以适应特定画家的风格，或将日间场景更改为日落场景。

Catanzaro 说：「这项技术不仅仅是将其他图像拼接在一起或者剪切和粘贴纹理，它实际上是合成新的图像，这和艺术家创造新东西的方法非常相似。」

虽然 GauGAN 应用程序专注于陆地、海洋和天空等自然元素，但底层的神经网络也有能力填充其他景观特征，包括建筑物、道路和人等。

关于 GauGAN 的研究论文已被 6 月的 CVPR 会议评为 Oral 论文——而获得这一殊荣的论文不到提交论文总数的 5%。