VR和MR技术的提升助于更完整的实景应用情境

近年来VR虚拟实境与MR扩增实境的应用越来越受到重视，连智慧型手机在内的行动装置，也能搭配简易型头戴式支架，作为VR、MR显示器使用，不过由于行动装置效能低落的先天缺陷，让使用者体验受到影响，于是Google研发了能够牺牲些微画质却大幅提升效能的演算法，来解决这个问题。

行动装置无法负荷运算需求

由于VR虚拟实境与MR扩增实等技术，会透过3D绘图的方式建构场景，让使用者走入完整的虚拟场景，或将部分虚拟场景融入到真实世界，如果想要提升VR或MR画面的逼真度的话，势必需要增加3D绘图的细腻度，进而增加对3D绘图的效能需求。

为了要带来充沛的3D绘图效能，往往需要仰赖强悍的显示卡或显示晶片，这对于桌上型电脑或笔记型电脑还算是可以解决的问题，但是在智慧型手机或平板电脑等行动装置上，无论是显示晶片晶片的尺寸、发热量或是耗电量，都是无解的难题。

然而山不转路转，为了让行动装置也能提供较佳的VR、MR体验，Google着手研发特殊的演算法，能够将运算资源集中投注在画面中人眼比较敏锐的区域，让该区域维持一定的画质，并降低其他区域的画质表现，如此一来就能在有限的运算资源中，提升FPS效能表现，进而带来更出色的视觉感受。

▲虽然Google Cardboard等简易型头戴式支架，能让智慧型手机作为VR、MR显示器使用，但是绘图效能始终是最大的问题之一。

省略人眼不敏感的部分

为了改善VR、MR的视觉体验，Google的研发团队针对人类视觉感官的特性，研发了对应的演算法，能在低运算需求与低耗电的前题下，依然能够兼顾从内容产制开始，一直到3D绘图、资料传输、处理延迟、与真实物件互动等环节，提供出色视觉体验。

在人类的视觉系统中，视网膜正中凹（Fovea Centralis）的功能能让我们将视野正中央区域看得很清楚，并能降低大脑对于周围视野区域的专注力，也就是说人类对于位在视野中央的物件有较外围区域高的辨识能力。视网膜正中凹渲染（Foveated Rendering）就是利用这种视觉特性，藉由降低外围区域绘制的解析度，来提升整体效能表现。

为了要达到这个目的，系统需要透过眼球追踪功能，锁定使用者的目光，以便推算出视觉的高敏锐（High Acuity）区域，让该区域的画面一直保持在高解析度状态。反过来说，如果搭配视网膜正中凹渲染的系统不具备眼球追踪功能，就需要绘制较大的高敏锐区域，来确保视觉体验。

在传统的视网膜正中凹渲染绘图技术中，大多将画格缓冲区（Frame Buffer）的整个画面切割为多个小区块，然而在使用者转动头部，或是画面中景色产生移动时，属于低敏锐（Low Acuity）区域的部分在拼合的过程就会产生混叠（Aliasing）瑕疵，进而影响视觉感受。

▲视网膜正中凹（图中标示Fovea的部分）能让人类聚焦于视野中央。

▲左半部为一般绘图方式，整个画面皆为相同解析度，右半部为视网膜正中凹渲染，只有黄色框内为正常解析度，周围则为较低的解析度。（图片来源：Google，下同）

▲左半部为一般绘图方式，右半部为传统视网膜正中凹渲染，画面移动时比较不滑顺。（点此处观看GIF动态图档，档案大小约8.3MB）

解决拼合瑕疵

混叠瑕疵会造成画面移动时闪烁或抖动的情况，即便它产生在周围区域上，使用者还是能够轻易查觉到这类瑕疵，所以研发团队提出2种最佳化方式降低混叠瑕疵。

在相位排列渲染（Phase-Aligned Rendering）方式中，系统会强制将低敏锐区域与虚拟空间贴齐，而不是跟着使用者的头部转动，如此一来当使用者改变视角的时候，就比较不易察觉混叠瑕疵，让低敏锐区域在升频并投影至显示器时，能够发挥补偿头部转动的效果，降低画面抖动的情况。至于高敏锐区域则是采用传统的绘制方式，并覆盖到画面的中央区域。然而这种方式的缺点就是，系统需要绘制更大放范围的图像（包含视野外的部分），造成能够节省的运算资源比较有限。

另一种方式则称为保角渲染（Conformal Rendering），系统会根据使用者视点与物件之间的距离，动态调整绘图的解析度，越远的物件解析度越低（看起来也较模糊）。这样的好处在于视觉感受与人类的经验法则相近，而且画面内高、低敏锐区域的界线不会那么明显，而且只需1次绘图流程即可完成画面绘制，能比相位排列渲染节省更多运算资源，但其缺点就是在画面边缘的抖动会比较明显

▲相位排列渲染能够有效降低画面抖动状况。（点此处观看GIF动态图档，档案大小约8.5MB）

▲保角渲染则有助于节省更多运算资源。（点此处观看GIF动态图档，档案大小约8.4MB）

头戴式显示器也有玄机

如果希望在传输影响的过程中节省频宽，就能将画面中人眼最敏感的部分以较高的资料流量传输，并将低其他区域的流量，如此一来就能省下一些频宽。

另一方面，在一般情况下，头戴式显示器接收到画面之后，还需要经过校正透镜造成的变型等处理步骤，然而透过视网膜正中凹渲染产生的画面，也可以依照高、低敏锐区域的不同，分别施以不同精准度的处理手续，例如在升频之前先进行校正，就能省下不少运算资源。

▲将画面依为人眼的敏感程度拆分为不同区块，并分配不同的流量，就可以将传输频宽花在刀口上。

▲以不同的精准度处理画面中的各区域，也能省下运算资源。

研发团队表示他们在这种演算法中，考虑了许多对绘图、处理、传输造成的影响，并希望有助于下一代轻量、省电、高解析度的VR、MR产品发展，并能在近期带来更完整的应用情境。