Facebook研发注视点AI渲染 意在实现更高分辨率的VR头显

眼球追踪、注视点渲染（Foveated rendering ）被许多VR硬件技术厂商视为下一代VR头显的突破口。眼球追踪顾名思义，而注视点渲染可以根据人眼的注视过程，为用户最佳视觉点（fovea）呈现清晰精准的画面，而周边视觉范围则是更简单、更模糊的画面。日前，Facebook现实实验室的工程师们提出了DeepFovea，一种人工智能辅助的替代方案，可以创建“半透明化的外围视频”，而不是实际呈现精确的外围图像。这个新过程被称为“凹形重建”，Facebook表示，它可以将RGB视频压缩14多倍，且用户感知到的画面质量没有显著下降。

上图：DeepFovea使用人工智能“重建”外围像素，且不会出现保真度丢失的情况，节省了相当多的处理时间。

在捕捉视频流时，DeepFovea只对每个视频帧中10%的像素进行采样，主要集中在（但不全是）用户眼睛注视的区域，如上图中的蜥蜴头。相比之下，周边区域仅由分散的点采样，这些分散的点离眼睛的注视区域越远，密度越小。然后，系统使用训练有素的生成对抗神经网络从这些小型样本中重建每一帧画面，同时依靠视频流的时间和空间内容稳定地填充视频细节。

如上图所示，未完全采样的蜥蜴头在帧与帧之间基本上无法区分，而“重建”图像中相邻的树皮没有“参考”像素那么清晰和详细。但事实并非如此。传统的注视点渲染系统将这些像素描绘成低分辨率的平面阴影块，而DeepFovea保留了，或者说更准确地保留了更多的原始形状和颜色。

与注视点渲染相比，DeepFovea的关键之处是更好地组合了电源效率和图像质量。Facebook声称，渲染减少14倍，这意味着它将能够向以依赖凝视检测的显示器提供实时、低延迟的视频——这是构建轻量级VR和AR头显的必要步骤，显示原来在云空间中呈现的高分辨率图形。人们认为全天佩戴的Oculus AR头显不切实际，除非移动芯片在实时3D地图上的功耗能大幅降低，像我们观看流媒体视频时的功耗一样。

Facebook的Michael Abrash首次暗示了DeepFovea背后的概念：在未来五年内把以深度学习为基础的注视点渲染和良好的眼球追踪结合在一起，从而实现更高分辨率的VR头显，比如“Half Dome”原型。在今年的OC6大会上，Abrash表示，公司将在自己的办公室里测试下一代的Half Dome硬件，然后再将其向公众展示。