Valve新专利提出『基于眼动追踪的动态渲染』解决方案

对于任何VR头显而言，能够在用户接近游玩区域边界时发出警报提醒的防护系统非常重要，而各大头显厂商一直在这方面进行探索和优化，比如已经申请过多份相关专利的微软。

日前，美国专利商标局又公布了这一主题的微软专利申请，其名为“Transitioning Into A Vr Environment And Warning Hmd Users Of Real-World Physical Obstacles（过渡至VR环境并向头显用户警告真实世界的物理障碍）”

在传统的VR系统中，由于传感器视场和实际物理空间限制，用户需要首先划定一个安全的游玩区域。对于虚拟现实世界，用户有时候不一定愿意站在或坐在固定位置，而是选择自由走动，并在移动时体验连续的虚拟环境。但是，用户有可能会走出安全区域并撞

为了根据用户头部姿态渲染正确的场景，应用程序接收用户头部预测姿态作为输入。若使用光栅渲染，应用程序只能接受单个姿态（基于单个目标渲染时间）作为渲染相关帧的输入。这意味着必须为用户头部的原始姿态预测选择单个目标渲染时间。

对于使用滚动带显示驱动技术的VR系统，一个选项是将中间一行像素被照亮的时间作为每帧的目标渲染时间。尽管这种方法有望最小化整帧的二次投影调整总量，但不能减轻用户在显示器顶部和底部附近注意到的不必要抖动伪影，因为用户并不总是注视显示面板的中间。事实上，当使用VR头显时，用户的眼睛会在显示屏的顶部或底部徘徊。

对于上述的滚动带显示驱动技术，显示面板的发光元件可以单独寻址，使得发光元件的各个子集，以及因此像素的各个子集可以在照明时间段内以滚动的照明频带独立且顺序地被照亮。在一些实施例中，像素阵列和显示面板的发光元件可以排列成行和列，但不一定是一个发光元件对应于一个像素。在所述配置中，发光元件的单个行和/或单个列可以按顺序寻址。作为以这种“滚动”方式寻址发光元件的结果，对应于这些可单独寻址的发光元件子集的像素子集可以被独立地“照明”。

针对这种情况，Valve向美国专利商标局申请了一份名为“Dynamic Render Time Targeting Based On Eye Tracking（基于眼动追踪的动态渲染时间确定）”的专利。

这家公司指出，当对应用程序渲染帧应用大规模二次投影调整时，生成的二次投影帧将显示诸如抖动等不需要的视觉伪影。相比之下，当对应用程序渲染帧应用小范围的二次投影调整时，得到的二次投影帧将减轻所述的视觉伪影。所以，为了尽可能精确地进行预测，并且在二次投影期间尽可能少地进行调整，可以通过最小化对感兴趣区域中的像素值进行二次投影调整，从而改善用户正在查看的感兴趣区域中的图像质量。

在一个实施例中，带有滚动照明显示面板的头显可以根据眼动追踪动态地为给定帧设定渲染时间。利用所述方法，在图像渲染期间对用户正在查看的显示器位置处的像素值应用很少或不进行二次投影调整，从而减轻“感兴趣区域”中由二次投影的视觉伪影。

例如，头显的逻辑可以预测用户在给定帧的照明时间内查看的一个位置，确定对应于预测位置的像素的单独子集将被照亮的时间，预测头显在确定时间中的姿态，并将指示所述预测姿态的姿态数据发送到用于渲染帧的应用程序。

通过追踪用户的眼睛，可以确定用户在滚动照明时间段内查看显示面板顶部内的像素子集，这时头显系统的逻辑可以告知应用程序根据用户头部姿态渲染场景。对于随后的帧，可以根据眼动追踪预测用户将在滚动照明时间段内查看显示面板底部内的像素子集，然后逻辑可以相应地告诉应用程序根据用户头部姿态来渲染场景。

所以，专利描述的技术并不总是在中间一行像素将照亮时渲染给定帧，而是根据用户在图像渲染期间查看显示面板的位置预测来动态地选择下一帧的渲染时间。换言之，对于每个帧，头显系统的逻辑配置成告诉应用程序要在什么时间点渲染“世界图像”，而所述时间点是基于当显示所述世界图像时用户眼看的位置预测进行选择。

上现实物体，从而造成身体伤害或物品损坏。这时合适的防护系统系统显得十分有必要。

对于名为“Transitioning Into A Vr Environment And Warning Hmd Users Of Real-World Physical Obstacles（过渡至VR环境并向头显用户警告真实世界的物理障碍）”的专利申请，其主要描述的方法可用于向用户提供对VR设备不可见的真实世界物理障碍的警告。

在一个实施例中，系统检测头显的使用，并且识别接近头显距离阈值内的一个或多个真实世界物理对象。随后，获取包括真实世界物理对象的虚拟表示的复制环境，并在VR显示器中呈现。然后，复制的环境从显示器中淡出离开，并在VR显示器中呈现原有的VR环境。

简单来说，当VR头显用户接近一张沙发时，系统将在VR视图中纳入包含沙发数字表示的画面，并以此方式来告知提醒用户。当用户远离沙发时，沙发数字表示将淡出离开显示画面，并恢复原有的VR视图。

微软指出，这样的实施例可以允许真实世界和虚拟环境之间的自然平滑过渡，从而防止用户迷失方向。

相关专利：Transitioning Into A Vr Environment And Warning Hmd Users Of Real-World Physical Obstacles

名为“Transitioning Into A Vr Environment And Warning Hmd Users Of Real-World Physical Obstacles（过渡至VR环境并向头显用户警告真实世界的物理障碍）”的专利申请最初在2020年4月提交，并在日前由美国专利商标局公布。