谷歌的研究人员开发了可以智能抓拍自拍的新应用PhotoBooth

照一张美美的自拍照一直是一个技术活！如果要和小伙伴们一起拍出一张漂亮的自拍那更是需要耐心加技术才能搞定，你需要握好手机准备好拍照、看着相机并摆好pose，更重要的是要保证所有的小伙伴都在镜头内没有眨眼跑偏！一瞬间要行云流水地完成这些动作对于不经常自拍小伙伴们还是有点挑战的。

那么，现在都9102年的AI时代了，智能相机能不能帮我们拍出好看的自拍呢？让我们来看看谷歌给出的答案。其实在去年年底，谷歌推出了一款名为Clips的应用就给智能相机打下了坚实的基础。Clips可以在移动端分析拍摄的质量，并从一小段视频中找出用户最美的瞬间。基于这样的技术，谷歌的研究人员开发了可以智能抓拍自拍的新应用PhotoBooth。

这个应用将会为你捕捉最美的瞬间，无论是单人、情侣还是多人的小伙伴们，他都会找到最合适的姿势角度和快门为你记录下最美的时刻。在进入软件后它能自动识别其中人脸的表情和眼睛，在大家都睁眼并且表情很棒的时候帮你按下快门。这一针对自拍的技术专门对前置摄像头进行了优化，此外科研人员在逐一解决了三个挑战才使得这一技术变为现实。为了实现Photobooth，

首先需要解决如何识别人群中众多主体的表情是否到位；

随后需要确定曝光时间已记录最佳的图像结果；

最后还需要为提供视觉辅助元素UI帮助用户调整姿势和表情以便相机可以拍摄下最好的你！

为优质内容建模

为了拍下最美的瞬间，那么理解什么是美什么是好的姿势和表情就尤为重要了。在自拍中相机需要识别是不是所有的人都在看镜头、或者当情侣在接吻时抓拍下浪漫一刻。为了实现对优质内容的理解和抓拍，Photobooth利用了两个自拍模型来实现，分别用于检测面部表情和亲吻的动作。

通过和摄影师合作，研究人员提取出了五种高频表情用于触发相机记录：微笑、吐舌、嘟嘴/自拍脸、鼓脸颊和惊奇的表情，这些是人们在自拍时最常用的表情。随后利用神经网络训练分类模型来对这些表情实现分类。而对于亲吻，则在Clips中已有的图像内容模型的基础上进行微调。最后通过MobileNets实现以便高效高帧率的进行处理，网络的输出将用于评价每一帧的质量，并用于快门控制算法。

快门控制

当按下Photobooth快门的时候前面的质量评价算法就开始给每一帧的质量打分了。首先需要利用滤波器来处理闭眼、运动模糊或者表情识别错误等。算法会对表情的置信度评分进行短暂的分析，并使得机器学习模型的输出较为稳定和鲁棒。随后每一帧将进行更加细粒度的分析同时输出整体帧的评分。评分包含了表情的质量或者亲吻的分数。针对亲吻场景，算法将对整张图像进行处理并直接生成评分。对于面部表情识别模型来说，会对每个个体的表情进行识别，并利用了注意力机制对视图中所有的个体表情进行迭代识别，同为每张脸赋予一定的权值。这一权值十分重要，可以对照片中不同部分的主体进行突出和强调。在此基础上计算出了用于评价帧质量的全局质量分数。

最终，基于注意力分数的加权表情评分和亲吻评分将用于触发相机快门。为了在最佳时刻进行记录，算法将会进行一定时刻的观察，并在帧评分超过历史峰值后按下快门。

智能指示器

人们在利用前视摄像头拍照的时候，需要与算法进行交互才能调整自己的表情获取最佳姿势。算法同时提供了一个质量评分指示器来帮助用户理解算法的输出。下图中可以看到屏幕上方的小白条指示了当前算法输出的评分，主要包括了一下四种情况：视野中没有清晰人脸；人没有看相机；看了相机但是表情不到位；表情到位，开拍！为了让指示器更便于理解，研发人员让它在上面的四种情况中依次变换，同时加入了对评分质量的平滑避免白条变化过快让用户无所适从。最终，当指示器的长度达到了高质量的水平相机就自动为你记下完美时刻了。

会拍照的才是好手机！相机越来越智能，朋友圈也会越来越美丽。随着计算机视觉技术的进步，像这样贴近生活的实用技术将越来越多的出现在我们生活中。优秀技术解决生活中的小痛点的微创新将会不断引领技术的落地，为人们带去更加便捷的生活。