利用机器学习来实现低延迟移动VR图形的案例

Facebook人工智能研究院日前通过博文简述了如何通过集成式机器学习来实现低延迟的移动VR图形。具体来说，团队介绍了一个为VR一体机的渲染管道运行机器学习的全新低延迟高效能框架。这个架构允许所述设备利用机器学习来显著提升图像质量和视频渲染。

研究人员根据这一框架创建了一个示例应用，它能够重建更高分辨率的渲染（称为超分辨率），以最少的计算资源提高移动芯片组的VR图形保真度。这个全新框架同时可以用于执行面向的流式传输内容时的压缩伪影去除，帧预测，特征分析，以及针对引导式注视点渲染的反馈。

1. 工作原理

在典型的移动VR渲染系统中，应用引擎在每个帧的开头检索运动追踪数据，并使用所述信息为每只眼睛生成图像。为了支持VR应用的有效工作，系统通常会严格限制整个图形管道的处理时间。例如为了90Hz的刷新率，两个眼图缓冲区的渲染时间预算为11毫秒。

为了克服所述限制，团队研发的新架构减轻了模型执行的负担，所以专用处理器能够实现异步化。在这种设计中，数字信号处理器（DSP）或神经处理单元（NPU）与图形处理单元（GPU）实现管道化，并获取部分渲染缓冲区或整个渲染缓冲区以进行进一步的处理。系统异步拾取内容，方式是在将其发送到显示器之前GPU为延迟补偿而扭曲线程。

上图说明了如何在图形显示管道中将DSP的机器学习模型执行与其他处理器并行化。

为了提高性能，Facebook修改了操作系统中的图形内存分配系统，将专用分配器用于GPU-DSP共享内存。这比直接映射更为有效，因为图形帧缓冲区通常是优化仅GPU的访问（并且在CPU上的表现不佳），同时需要特殊的内存注册过程来避免在运行时通过远程调用所进行的复制。

团队使用所述示例应用对管道进行了测试，它应用了深度学习来改善中心区域的图像质量，但对场景其他部分使用了更高效，分辨率更低的渲染。超分辨内容在异步时间扭曲中与周围区域混合。如果在每个方向上将分辨率降低大约70％，则可以节省大约40％的GPU时间，并且开发者可以使用节省的资源来生成更优的内容。为了在VR中实现时间连贯且视觉愉悦的结果，Facebook通过专门设计的时间损失函数来训练循环网络。

2. 意义

创建下一代VR和AR体验需要寻找新的、更有效的方法来渲染高质量低延迟图形。由于时间伪影更易感知，VR头显中的低视觉暂留显示器难以接受传统的渲染和超分辨率技术。Facebook人工智能团队提供了利用AI来帮助移动芯片设备应对所述挑战的一种新方法。

他们表示：“除了AR/VR应用外，通过消除内存限制并在图像质量增强，伪影去除和帧外推等方面实现其他创新，我们相信这个新框架可以为移动计算图形领域的创新打开大门。”

编辑：hfy