使用机器学习来重新诠释塞尚的印象派画作

别急，先来看一幅画。

这是获得2018年国际机器人艺术大赛（RobotArt）的第一名的“艺术家”CloudPainter带来的作品，使用机器学习来重新诠释塞尚的印象派画作。

很多人认为艺术创造力是人类独有的天赋，而近年来AI也能创作出如上图一样的画作，似乎在向人们证明，算法在绘画、素描和雕刻方面的表现并不算差，甚至具有人性化的精确度。

最近发表的一篇论文更证实了这一点。来自美国马里兰大学和Adobe Research的研究员们开发出一个新颖的机器学习系统——LPaintB，能够在一分钟之内将手绘图在达芬奇、梵高和弗美尔之间进行迅速的转换。

随着非真实感渲染技术的发展，包括基于笔画和绘画渲染，特殊设计或手工设计的方法可以通过应用启发式来越来越真实地模拟绘画过程。这些算法虽然可以产生令人信服的结果，但很难将它们扩展到其他的样式。为了解决这个问题，研究员专注于构建一个画画小能手，可以通过模仿参考图象来训练绘画技能，用相同的或转换的样式再现参考图像。

研究人员结合了自我监督学习和强化学习，其中未标记的数据与少量标记数据结合使用以提高学习准确性，从而在有限的参考图像的基础上从头开始训练智能体。通过建模系统的动作状态（即画笔配置，如长度、方向和画笔大小），并通过将错误的目标状态替换为最终状态，生成了一个带有正向奖励的配对语料库，并将其提供给AI 模型使它学会了以目标的艺术风格绘制参考图像。

第一行是原始图片，第二行是AI改变风格的图片

结果看起来不错但过程并不是一帆风顺。研究人员指出，通常情况下，系统采样的行动中只有一小部分能够获得正面奖励。他们使用强化学习试图解决这一问题，该技术使用目标状态作为配对数据来训练策略。但是正因为用于训练它的配对数据只包含正面奖励的行动和一系列连续动作的状态，结果生成的策略并不是特别强大，这使得难以从不良行为中恢复负面奖励。

解决这一问题需要再次进行强化学习：在参数空间增加噪声，这种参数空间中的动作有助于提高模型举一反三的能力，并通过奖励优化模型的行动。

最终的AI框架，可以使用描述笔划大小，颜色和位置信息的参数执行绘制操作，并对画布做出相应的更新，使用奖励函数评估当前状态和目标状态之间的差距。为了编译训练数据集，研究人员以不同比例的特定样式从参考图像中随机抽取补丁，并抽样出固定数量的补丁。

他们将这些补丁输入至模型中，经过一个小时的培训后，系统能够在不到一分钟的时间内，在配备16核处理器和Nvidia GTX 1080图形芯片的PC上重现1000 x 800和800 x 800图像。

除了在画作大师之间进行风格转换，该算法还能让普通照片拥有油画般质感

研究人员指出，训练模型的泛化能力高度依赖于训练数据，他们的方法基于一个非常基本的绘画环境，但自我监督和强化学习的结合极大地提高了策略的效率和表现。接下来团队将会在笔刷参数上做出更细致的规划，如笔刷大小、颜色和位置；并致力于构建基于模型的强化学习框架，使模型可以构建到绘图模拟器中。