杜克大学的研究团队研发了一个AI图像生成模型PULSE

近日，杜克大学的研究团队研发了一个AI图像生成模型PULSE。PULSE可以在5秒钟内将低分辨率的人像转换成清晰、逼真的人像。要指出的是，PULSE所做的工作并不是把输入的低分辨率人像变成一张高分辨率的人像，而是“一对多”地输出许多张面部细节各不相同的高分辨率人像。比如，用户输入一张16*16分辨率的图像，PULSE可输出一组1024*1024分辨率的图像。

这项研究于本月在计算机视觉与模式识别顶会CVPR 2020上发表，论文标题为《PULSE：通过对生成模型的潜在空间探索实现自监督照片上采样（PULSE：Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models）》。

论文链接：https://drive.google.com/file/d/1fV7FsmunjDuRrsn4KYf2Efwp0FNBtcR4/view

PULSE项目官网：http://pulse.cs.duke.edu/

GitHub：https://github.com/adamian98/pulse

一、PULSE：能为天文学/医学提供参考

在好莱坞间谍电影中，肩负拯救世界重任的特工常常采用高科技手段、把一张模糊的凶犯照片还原成清晰的人脸照片。现实中，许多研究人员致力于用AI技术使电影中的炫酷场景成真。但是，现有AI模型的性能普遍较差，生成的人脸图像往往与照片主人公的真实长相并不相似。

杜克大学计算机科学专业教授Cynthia Rudin指出，这是因为低像素图像中的信息较少，AI模型无法准确地“补足”缺失信息、进而还原出清晰人脸图像。因此，用AI技术对模糊人像进行面部识别十分困难。

Rudin团队认为，虽然不能用于模糊人像的面部识别，但是这类AI模型可以作为一种分类和探索工具，用于天文学、医学等难以获得清晰图像的领域。也就是说，基于模糊图像中缺失信息的各种可能性，AI模型可以生成许多清晰的图像，生成的多种图像可以为天文学、医学等领域研究人员提供参考。

基于这种设想，杜克大学研究人员研发了基于生成式对抗网络（GAN）的图像超分辨率模型PULSE。PULSE模型基于NVIDIA的StyleGAN算法进行开发。

二、降尺度损失方法：用生成图像“倒推”模糊图，相似才能输出

为了保证输出图像与输入图像的“对应性”，研究人员在PULSE模型中应用了一种“降尺度损失（downscaling loss）”方法。

当PULSE模型的生成网络提议以一张清晰图像作为输出时，判别网络会把这张清晰图像的分辨率降低到与输入图像相等的水平。然后，判别网络会对比降尺度损失图像与输入图像之间的相似性。

只有在降尺度损失图像与输入图像相似性较高时，判别网络才会判定生成网络提议的清晰图片可以作为输出。

▲基于同一张模糊的图像，PULSE可以生成面部细节不同的清晰图像

三、40位评估者参与打分，PULSE模型MOS得分最高

研究人员用高分辨人脸数据集CelebA HQ评估PULSE的性能。为了进行对比，研究人员利用CelebA HQ数据集训练了监督模型BICBIC、FSRNET和FSRGAN。

所有模型均以16*16分辨率的图像作为输入，BICBIC、FSRNET和FSRGAN模型以128*128分辨率图像作为输出，PULSE模型以128*128分辨率图像和1024*1024分辨率图像作为输出。

评估结果显示，图像质量方面，PULSE模型在生成眼睛、嘴唇等图像细节方面的能力优于其他模型。

▲PULSE生成图像的嘴唇、眼睛更加清晰

接下来，研究人员用平均意见分数（MOS）测试来定量评估模型的分辨率。研究人员应用6个模型生成128*128分辨率的图像，邀请40位评估者对6个模型的输出结果进行打分。

用于对比的模型分别是：HR、Nearest、Bicubic、FSRNet、FSRGAN。

结果显示，PULSE的MOS分数最高，为3.60，即评估者认为PULSE模型生成的图像分辨率最高。

结语：代码已在GitHub开源，用户担忧种族偏见

本项研究中，杜克大学研发的PULSE模型能够基于一张模糊的人像，生成多张面部细节不同的清晰人像，为使用者提供一个可能的参考范围。目前，研究团队已将模型代码在GitHub开源，鼓励其他开发者进行实验。

研究人员称，在未来，PULSE或可被用于天文学、医学等领域。比如，一位天文学研究人员可以输入一张模糊的黑洞图像，并获得许多可能的天体照片。

同时，也有人对PULSE的种族偏见问题表示担忧。有Twitter用户爆料称，其在PULSE模型中输入深肤色种族（比如奥巴马的照片）的人脸照片后，PULSE输出了白人的照片。研究人员称，目前他们正尝试通过引入更广泛的数据集解决这一问题。