VR和MR技术的提升助于更完整的实景应用情境

两个质子 2018-01-31 11:44 次阅读

近年来VR虚拟实境与MR扩增实境的应用越来越受到重视,连智慧型手机在内的行动装置,也能搭配简易型头戴式支架,作为VR、MR显示器使用,不过由于行动装置效能低落的先天缺陷,让使用者体验受到影响,于是Google研发了能够牺牲些微画质却大幅提升效能的演算法,来解决这个问题。

行动装置无法负荷运算需求

由于VR虚拟实境与MR扩增实等技术,会透过3D绘图的方式建构场景,让使用者走入完整的虚拟场景,或将部分虚拟场景融入到真实世界,如果想要提升VR或MR画面的逼真度的话,势必需要增加3D绘图的细腻度,进而增加对3D绘图的效能需求。

为了要带来充沛的3D绘图效能,往往需要仰赖强悍的显示卡或显示晶片,这对于桌上型电脑或笔记型电脑还算是可以解决的问题,但是在智慧型手机或平板电脑等行动装置上,无论是显示晶片晶片的尺寸、发热量或是耗电量,都是无解的难题。

然而山不转路转,为了让行动装置也能提供较佳的VR、MR体验,Google着手研发特殊的演算法,能够将运算资源集中投注在画面中人眼比较敏锐的区域,让该区域维持一定的画质,并降低其他区域的画质表现,如此一来就能在有限的运算资源中,提升FPS效能表现,进而带来更出色的视觉感受。

VR_MR技术的提升助于更完整的应用情境

▲虽然Google Cardboard等简易型头戴式支架,能让智慧型手机作为VR、MR显示器使用,但是绘图效能始终是最大的问题之一。

省略人眼不敏感的部分

为了改善VR、MR的视觉体验,Google的研发团队针对人类视觉感官的特性,研发了对应的演算法,能在低运算需求与低耗电的前题下,依然能够兼顾从内容产制开始,一直到3D绘图、资料传输、处理延迟、与真实物件互动等环节,提供出色视觉体验。

在人类的视觉系统中,视网膜正中凹(Fovea Centralis)的功能能让我们将视野正中央区域看得很清楚,并能降低大脑对于周围视野区域的专注力,也就是说人类对于位在视野中央的物件有较外围区域高的辨识能力。视网膜正中凹渲染(Foveated Rendering)就是利用这种视觉特性,藉由降低外围区域绘制的解析度,来提升整体效能表现。

为了要达到这个目的,系统需要透过眼球追踪功能,锁定使用者的目光,以便推算出视觉的高敏锐(High Acuity)区域,让该区域的画面一直保持在高解析度状态。反过来说,如果搭配视网膜正中凹渲染的系统不具备眼球追踪功能,就需要绘制较大的高敏锐区域,来确保视觉体验。

在传统的视网膜正中凹渲染绘图技术中,大多将画格缓冲区(Frame Buffer)的整个画面切割为多个小区块,然而在使用者转动头部,或是画面中景色产生移动时,属于低敏锐(Low Acuity)区域的部分在拼合的过程就会产生混叠(Aliasing)瑕疵,进而影响视觉感受。

VR_MR技术的提升助于更完整的应用情境

▲视网膜正中凹(图中标示Fovea的部分)能让人类聚焦于视野中央。

VR_MR技术的提升助于更完整的应用情境

▲左半部为一般绘图方式,整个画面皆为相同解析度,右半部为视网膜正中凹渲染,只有黄色框内为正常解析度,周围则为较低的解析度。(图片来源:Google,下同)

VR_MR技术的提升助于更完整的应用情境

▲左半部为一般绘图方式,右半部为传统视网膜正中凹渲染,画面移动时比较不滑顺。(点此处观看GIF动态图档,档案大小约8.3MB)

解决拼合瑕疵

混叠瑕疵会造成画面移动时闪烁或抖动的情况,即便它产生在周围区域上,使用者还是能够轻易查觉到这类瑕疵,所以研发团队提出2种最佳化方式降低混叠瑕疵。

在相位排列渲染(Phase-Aligned Rendering)方式中,系统会强制将低敏锐区域与虚拟空间贴齐,而不是跟着使用者的头部转动,如此一来当使用者改变视角的时候,就比较不易察觉混叠瑕疵,让低敏锐区域在升频并投影至显示器时,能够发挥补偿头部转动的效果,降低画面抖动的情况。至于高敏锐区域则是采用传统的绘制方式,并覆盖到画面的中央区域。然而这种方式的缺点就是,系统需要绘制更大放范围的图像(包含视野外的部分),造成能够节省的运算资源比较有限。

另一种方式则称为保角渲染(Conformal Rendering),系统会根据使用者视点与物件之间的距离,动态调整绘图的解析度,越远的物件解析度越低(看起来也较模糊)。这样的好处在于视觉感受与人类的经验法则相近,而且画面内高、低敏锐区域的界线不会那么明显,而且只需1次绘图流程即可完成画面绘制,能比相位排列渲染节省更多运算资源,但其缺点就是在画面边缘的抖动会比较明显

VR_MR技术的提升助于更完整的应用情境

▲相位排列渲染能够有效降低画面抖动状况。(点此处观看GIF动态图档,档案大小约8.5MB)

VR_MR技术的提升助于更完整的应用情境

▲保角渲染则有助于节省更多运算资源。(点此处观看GIF动态图档,档案大小约8.4MB)

头戴式显示器也有玄机

如果希望在传输影响的过程中节省频宽,就能将画面中人眼最敏感的部分以较高的资料流量传输,并将低其他区域的流量,如此一来就能省下一些频宽。

另一方面,在一般情况下,头戴式显示器接收到画面之后,还需要经过校正透镜造成的变型等处理步骤,然而透过视网膜正中凹渲染产生的画面,也可以依照高、低敏锐区域的不同,分别施以不同精准度的处理手续,例如在升频之前先进行校正,就能省下不少运算资源。

VR_MR技术的提升助于更完整的应用情境

▲将画面依为人眼的敏感程度拆分为不同区块,并分配不同的流量,就可以将传输频宽花在刀口上。

VR_MR技术的提升助于更完整的应用情境

▲以不同的精准度处理画面中的各区域,也能省下运算资源。

研发团队表示他们在这种演算法中,考虑了许多对绘图、处理、传输造成的影响,并希望有助于下一代轻量、省电、高解析度的VR、MR产品发展,并能在近期带来更完整的应用情境。

两个质子 技术专区

原文标题:行动装置跑不动VR 、 MR 怎么办?Google:偷工减料就好了

文章出处:【微信号:lianggezhizi,微信公众号:两个质子】欢迎添加关注!文章转载请注明出处。

关注电子发烧友微信

有趣有料的资讯及技术干货

下载发烧友APP

打造属于您的人脉电子圈

关注发烧友课堂

锁定最新课程活动及技术直播
收藏 人收藏
分享:

评论

相关推荐

HTC证实裁员是什么情况?HTC针对北美员工裁员百人 HTC为什么要裁员

最近几个月是HTC跌宕起伏的几个月,手机部门被收购的收购,被合并的合并,北美地区的智能手机部门将会面....

的头像 电子发烧友网工程师 发表于 02-24 18:02 次阅读 0条评论
HTC证实裁员是什么情况?HTC针对北美员工裁员百人 HTC为什么要裁员

窥视美国2017年物联网和VR发展现状

如今物联网的发展迅速,滋生了许多物联网产业巨头竞逐,智能制造成为全球变革的重要方向。在2017年美国....

发表于 02-24 15:48 次阅读 0条评论
窥视美国2017年物联网和VR发展现状

HTC裁员计划将VR和手机部门合并

关于HTC裁员的真相已经被证实,手机部门将有 100 名员工被解雇。同时已经确认将VR和智能手机部门....

发表于 02-24 15:04 次阅读 0条评论
HTC裁员计划将VR和手机部门合并

Superdata预测未来三年AR/MR收入将超VR

研究公司Superdata发布的一份新报告显示,尽管电子游戏将继续获得大部分软件收入,但来自增强现实....

发表于 02-24 14:30 次阅读 0条评论
Superdata预测未来三年AR/MR收入将超VR

增强现实技术和vr差异在哪

增强现实是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世....

发表于 02-24 09:28 次阅读 0条评论
增强现实技术和vr差异在哪

基于VR/AR技术用户可在虚拟世界与现实世界的结合中体验购物乐趣

随着 VR/AR技术的成熟化发展,及各类头戴显示设备、智能穿戴设备出货量快速增长。AR购物即是在传统....

的头像 VR小报 发表于 02-23 10:08 次阅读 0条评论
基于VR/AR技术用户可在虚拟世界与现实世界的结合中体验购物乐趣

VR领域十大惊艳产品简介(一)

十年积累新科技,一朝爆发是VR,自“VR+PC”跨端对战技术在德国获奖之后,VR行业便如同“开挂”般....

发表于 02-23 09:09 次阅读 0条评论
VR领域十大惊艳产品简介(一)

VR领域十大惊艳产品简介(二)

VR对于普通网友来说,可能还是一个陌生的词汇,但是它在业界人士的眼中却是下一个科技风口。当然,许多人....

发表于 02-23 09:06 次阅读 0条评论
VR领域十大惊艳产品简介(二)

Qualcomm推出全新骁龙845移动VR参考设计

高通推出基于强大的Qualcomm®骁龙™845移动平台的一款全新虚拟现实(VR)参考平台。 Qua....

发表于 02-22 16:10 次阅读 0条评论
Qualcomm推出全新骁龙845移动VR参考设计

冬奥会上演科技秀 5G/AI/VR令人瞩目

2018年平昌冬奥会以“新视界”(New Horizons)为专题,平昌ICT体验馆和冬奥会上演科技....

的头像 VR小报 发表于 02-14 20:48 次阅读 0条评论
冬奥会上演科技秀  5G/AI/VR令人瞩目

VR之父浅谈VR的未来

VR之父杰伦·拉尼尔认为虚拟现实(VR)适用于信息时代战争的训练模拟器。拉尼尔也是科技行业的批评者,....

发表于 02-13 11:30 次阅读 0条评论
VR之父浅谈VR的未来

VR技术助神经科学理解记忆的生成

加州大学戴维斯分校(UCD)神经科学家正利用虚拟实境(VR)技术,理解大脑各个区域如何有脉络的收集记....

发表于 02-13 08:53 次阅读 0条评论
VR技术助神经科学理解记忆的生成

虚拟体验打造客制化服务 斌视再造眼镜王国

说不定未来的智能眼镜就要像手机一样到处找插头充电!未来智能眼镜十年内的发展就会像智能型手机一样,变成....

发表于 02-12 08:42 次阅读 0条评论
虚拟体验打造客制化服务 斌视再造眼镜王国

盘点未来10大有潜力的投资方向

2018年将迎来新的开始,技术的革新将带来巨大的变化,未来不止是想象而已,本文盘点未来10年有潜力的....

发表于 02-11 11:00 次阅读 0条评论
盘点未来10大有潜力的投资方向

苹果智能眼镜专利被曝光 整合了VR或AR

近日有关苹果智能眼镜的一项专利被曝光,专利显示智能眼镜体积可能更小巧,佩戴更舒适。但是目前关于苹果公....

发表于 02-10 11:57 次阅读 0条评论
苹果智能眼镜专利被曝光 整合了VR或AR

国内VR产业链现状:发展历程及8大趋势

VR的发展是有时代需求性的。从概念提出,产业爆发到现在低迷市场。2016年,可以说是VR产业化的元年....

发表于 02-08 14:16 次阅读 0条评论
国内VR产业链现状:发展历程及8大趋势

PSVR高清拆机图解:一满你的好奇心

PSVR出色销量已经让它成为了目前市场上最成功的VR产品,而当大多数人在感叹PSVR带来神奇体验的同....

的头像 39度创意研究所 发表于 02-08 12:52 次阅读 0条评论
PSVR高清拆机图解:一满你的好奇心

从历程、特点、热点、趋势等多角度深度分析VR发展

从概念提出、原型探索、技术积累到产品迭代和产业化发展,VR逐渐从军用市场拓展到消费级市场,逐步向更多....

的头像 OFweek可穿戴设备网 发表于 02-08 11:15 次阅读 0条评论
从历程、特点、热点、趋势等多角度深度分析VR发展

硬件方面 VR独立头显带动增长,且在应用方面更有趣多元

VR/AR走过2017年的行业低谷,逐渐呈现理性回归趋势,伴随着全球更多巨头加入市场,内容生态日益丰....

的头像 DIGITIMES 发表于 02-08 10:32 次阅读 0条评论
硬件方面 VR独立头显带动增长,且在应用方面更有趣多元

HTC终止谷歌Daydream一体机的研发,Vive Focus是否会走向全球市场?

OculusGo在美国市场售价200美元起,中国市场的售价有待小米后续公布。 在2017年底,HTC....

发表于 02-08 07:53 次阅读 0条评论
HTC终止谷歌Daydream一体机的研发,Vive Focus是否会走向全球市场?