中外科研团队开发出一种深度学习技术，可通过真人肖像生成游戏人物

近年来，视频游戏开发商和计算机科学家一直在努力设计技术，使游戏体验越来越沉浸其中，引人入胜和现实。其中包括自动创建受真人启发的视频游戏角色的方法。

大多数现有的创建和定制视频游戏角色的方法都要求玩家手动调整角色的面部特征，以便重新创建自己的面部或其他人的面部。最近，一些开发人员尝试开发一些方法，通过分析真实人物的面部图像，自动定制角色的面部。但是，这些方法并不总是有效的，也不总是以真实的方式再现它们分析的人脸。

网易伏羲AI实验室和密歇根大学的研究人员最近发明了MeInGame，这是一种深度学习技术，可以通过分析一个人脸的单个肖像自动生成人物脸。这项技术在arXiv上预先发表的一篇论文中提出，可以很容易地集成到大多数现有的3D视频游戏中。

开展这项研究的三位研究人员江克林、易远和邹正霞在论文中写道：“我们提出了一种自动创建人物面部的方法，可以从一张肖像中预测面部形状和纹理，并可以集成到大多数现有的3D游戏中。”

在以前的工作中提出的一些自动字符定制系统是基于被称为3D变形人脸模型（3DMMs）的计算技术的。虽然这些方法中的一些已经被发现能够以很高的精确度再现人的面部特征，但它们表示几何特性和空间关系（即拓扑）的方式通常不同于大多数3D视频游戏中使用的网格。

为了使3DMMs能够可靠地再现人脸的纹理，它们通常需要在大量的图像数据集和相关的纹理数据上进行训练。编译这些数据集可能相当耗时。此外，这些数据集并不总是包含在野外收集的真实图像，这可能会阻止在这些数据集上训练的模型在呈现新数据时表现出一致的良好性能。为了克服这个限制，林、袁和邹在野外拍摄的图像数据集上训练了他们的技术。

研究人员在论文中解释说：“给定一张输入的人脸照片，我们首先基于3D变形人脸模型（3DMM）和卷积神经网络（CNNs）重建3D人脸，然后将3D人脸的形状转移到模板网格上。”该网络以人脸照片和展开的粗UV纹理图为输入，预测光照系数和细化纹理图。

林、袁和邹在一系列实验中评估了他们的深度学习技术，将其生成的游戏角色的质量与其他现有最先进的自动角色定制方法生成的角色脸的质量进行了比较。他们的方法表现非常出色，生成的人物面部与输入图像中的人物面部非常相似。

研究人员在论文中写道：“提出的方法不仅能产生与输入肖像相似的细节生动的游戏人物，还能消除光线和遮挡的影响。实验表明，我们的方法优于游戏中使用的最新方法。”

在未来，这个研究小组设计的角色脸生成方法可以集成到许多3D视频游戏中，实现与真人非常相似的角色的自动生成。MeInGame模型的代码和用于训练该模型的数据集已在线发布，全球游戏开发商可通过以下网址访问：github.com/FuxiCV/MeInGame。
编辑：lyn