脸书研究一款可用于AR眼镜的脑机接口技术 将赌押在超逼真人脸研究上

近日，Facebook CEO 扎克伯格透露公司正在研究一款可用于AR眼镜的脑机接口技术，但该技术并非将AR眼镜以植入性芯片的形式进行，而是希望能开发成可量产的可穿戴技术。

类似《刀剑神域》中那般脑机接口被认为是虚拟现实的最终形态，也是最理想的形态，然而这个离我们似乎还有些遥远。

一直想要发展VR社交的Facebook，一边在规划几十年后的未来，同时也在踏踏实实地走好每一步。比如刚刚公布的Codec Avatars技术，就让VR社交中的虚拟人物表情动作达到了非常真实的状态，仿佛在虚拟世界中复刻了一个“真实”的你。

就此新科技与前卡内基梅隆大学(Carnegie Mellon University)副教授现

FaceBook超逼真化身的研究者Yaser Sheikh进行了交谈。

视频画面中有一名年轻女子，她的眼睛闪烁着光芒说：“门口站着一个大块头的傻瓜。然后他说：‘你以为你是谁，莲娜·荷恩（上世纪美国超级黑人巨星）吗？’我说虽然我不是荷恩，但我就像姐姐一样了解荷恩。”

上面这段独白来自沃顿·琼斯的戏剧《1940年的广播时刻》的开场白。画面中的年轻女子继续说着这段台词，能看出来她很清楚自己在做什么。当她详细讲述门卫的声调变化时，脸上荡漾出笑容，就像在跟你讲笑话一般。她咬字准确时，嘴唇的形状会发生恰到好处的变化，声音抑扬顿挫。她的表情经过如此精细的校准，朗读台词时如此地胸有成竹，再加上黑色背景，恍然之中你会觉得自己仿佛正置身于百老汇剧院，眼前在上演的正是上世纪70年代后期的百老汇戏剧。

唯一的不足之处就是：她脖子以下的身体都消失不见了。

Yaser Sheikh伸出手停止了视频的播放。刚刚画面中的年轻女子实际上是一个看上去极其逼真的VR虚拟化身，她令人惊艳的表现背后是收集的数据在运作。

形象创建

为了创建每个头像，Facebook使用了一个专门的拍摄工作室，由132个指向中心的摄像头组成。几个小时后，一个人做出各种各样的面部表情，系统就会生成一个独特的逼真的头像。另一个新建的系统捕捉身体。

Yaser Sheikh解释道:“目前，创造逼真的化身需要使用Facebook现实实验室匹兹堡办公室的高度定制的摄像头和麦克风系统，捕捉研究参与者的大量高质量音频和视频。这些数据被用来训练人工智能系统，也许有一天，用户可以通过几张快照或几段视频，快速、轻松地构建自己的编解码化身。”

由于一些原因，目前无法与消费者合作，因此研究的主要焦点是使用机器学习来生成这种细节的化身。可能有一天，你在Facebook或Instagram上现有的照片就足够了。我问Yaser Sheikh，他是否尝试过把自己的照片从Facebook上传到Facebook的系统中，看看他是否能利用Facebook创建一个化身。他说，在尝试之前，他们需要更多地了解光是如何与皮肤相互作用的。

捕获研究

为了驱动这些面部化身，Facebook在头戴式捕捉研究设备的内部建立了一个带有摄像头的系统，其中一个摄像头安装在鼻子上。让人令人印象深刻。

VR头盔的内部相对较暗，你不想让光线蒙蔽用户。可以用肉眼看不见的红外光来照明。这些类型的光用于Oculus Rift的“星座”位置跟踪系统，经常用于眼球跟踪。Facebook在这里使用同样的技术来照明捕获系统。

其它处理

Facebook在加利福尼亚州的索萨利托有一个单独的团队，他们正在研究一种不同的方法来制作逼真的化身。

Yaser Sheikh解释道：“这涉及到探索基于物理可以与任何交互的虚拟环境,结合基础研究生物力学、神经科学、运动分析、和物理驱动模拟，这项技术仍然依赖于实时数据采集，就像编解码的化身一样，但它驱动的不是实时传感器数据驱动神经网络，而是一个基于物理的模型，灵感来自人体解剖。”

Facebook应该在今年晚些时候分享更多关于这种方法的信息。

研究了很长时间，但仍然很遥远

Facebook的Oculus多年来一直在研究人脸跟踪和逼真的化身。在2015年的SIGGRAPH大会上，Oculus与南加州大学合作进行的研究揭示了一个硬件原型，一个笨重的手臂附在一个开发工具包上。

眼镜泡沫内衬中的附加传感器将能够读取摄像头被遮挡时的表情。

匹兹堡的FRL没有参与早期的研究。Facebook正在“寻找可能的解决方案”，Yaser Sheikh分享了一些“奇迹”，这些奇迹需要发生才能成为主流。他说，总的来说，他们的目标是最终将技术转移到产品团队。不过，他提醒说，他们首先需要弄清楚如何在提供最少信息的情况下制作出真实的化身。

Yaser Sheikh说:“完成身体的其余部分是另一个奇迹。”

控制距离和数字化

在消费产品中，Yaser Sheikh的团队和Facebook的其他人正在打造的高品质化身将从根本上改变沟通的本质。我们将不再讨论有限的卡通近似表情。我们将与人类对话，不管距离有多远。

一些研究人员和科学家认为，再现人类微妙表情的问题是VR中最难解决的问题之一。不过，有一天，与这些化身的对话可能会成为远程通信的主要形式，取代并消除视频通话的限制。

这项技术的发展也带来了巨大的风险。如果你的外表和行为习惯可以被别人当作有意模仿，那么数字化模仿的风险是巨大的。

Yaser Sheikh通过电子邮件更详细地解释了这一点:

这是早期的研究，随着我们继续开发这项技术，我们正在务实地考虑我们可以采取的措施，以打击滥用化身。例如，我们正在研究如何确保您的头像在真实帐户中是安全的。我们如何在平台上处理真实身份将是其中的关键部分，我们已经讨论了未来设备的几个安全和身份验证选项。显然，我们离这种技术还有一段路要走，但我们现在想要考虑解决方案。