首个能根据单一图像生成较高分辨率3D人脸模型的系统-电子发烧友网

智东西1月26日消息，伦敦帝国理工学院和初创公司FaceSoft.io的研究人员设计出一个人脸建模系统AvatarMe。AvatarMe可以依据任意一张人脸照片和一些面部细节，生成4K x 6K分辨率的3D人脸模型。

AvatarMe是首个能根据单一图像生成较高分辨率3D人脸模型的系统。在未来，AvatarMe或可用于视频会议等各个VR应用场景。

这项研究发表于CVPR 2020，论文标题为《AvatarMe：“在野外”的真实的可渲染的3D脸部重建（AvatarMe：Realistically Renderable 3D Facial Reconstruction “in-the-wild”）》。

论文链接：https://arxiv.org/pdf/2003.13845.pdf

CVPR（Conference on Computer Vision and Pattern Recognition）是由IEEE举办的计算机视觉和模式识别领域的顶级会议，本届会议在6月13日到6月19日之间举办。

一、AvatarMe：依据一张照片生成逼真的3D人脸

3D人脸建模是计算机视觉、图形学、机器学习领域的研究焦点之一。在过去几年，许多研究团队研发了基于生成对抗性网络（GAN）的3D人脸建模系统。

GAN由一个生成网络和一个判别网络组成。GAN模型的学习过程就是生成网络和判别网络的相互博弈的过程：生成网络随机合成一张图片，让判别网络判断这张图片的真假，继而根据判别网络给出的反馈不断提高“造假”能力，最终做到以假乱真。

但是，在依据任意人脸照片生成3D人脸模型方面，现有的解决方案普遍性能较差，生成的3D人脸模型分辨率较低。

伦敦帝国理工学院和初创公司FaceSoft.io的研究人员认为，这是因为两个原因：

一方面，研究人员缺乏可用于培训的数据；另一方面，可成功应用于高分辨率数据的稳健方法也比较少。

为了解决这些问题，伦敦帝国理工学院和初创公司FaceSoft.io的研发人员捕获了一个关于面部形状和反射率的大型数据集。

同时，研究人员采用基于艺术状态的3D纹理和形状重建方法，以渲染所需的每像素分辨率和镜面反射分量。最终，研究人员成功地优化了3D人脸建模结果。

▲AvatarMe系统的管道结果

二、采用两种捕获方法，收集超200张人脸图像

为了建立可用于训练的人脸数据集，研究人员采用两种方法收集数据。

第一种方法中，研究人员利用一个有168个光源的极化LED球泡灯和9台单反相机，捕获高分辨率的孔隙级人脸反射率图。极化LED球泡灯中，一半的光源是垂直极化的，另一半光源是水平极化的。两种极化方式的光源交错排布。

第二种方法中，研究人员利用非极化的LED球泡灯进行色彩空间分析，以捕获解缠的纹理。相比于第一种方法，利用非极化的LED球泡灯只需捕获不到一半的数据，因此捕获时间较短短。另外，由于不需要偏振片（polarizer），非极化的LED球泡灯设置也比较简单。

通过这两种方法，研究人员采集到超过200个不同年龄和特点的人的孔隙级人脸反射率图。为便于进一步研究，研究人员将收集到的图像引入一个标准拓扑结构中，建立人脸数据库。

研究人员将这一数据库命名为RealFaceDB，根据论文，与同类人脸数据库相比，RealFaceDB规模为最大。

▲将人脸图像引入标准拓扑结构

三、不仅能用低分辨率照片建模，戴墨镜照片也行

基于RealFaceDB数据库，研究人员开始训练基于GAN的AvatarMe系统。

训练过程中，研究人员首先输入一张低分辨率的人脸图片，用3DMM算法重建一个带纹理的基本几何体。然后，利用一个超级分辨率网络，研究人员重建纹理映射。接下来，研究人员利用一个去照明网络获得高分辨率的漫反射函数（AD）。最后，研究人员利用漫反射函数AD和基本几何体，推断出其他部分的函数（AS、ND、NS），进而建立仿真的3D人脸模型。