VR和MR技术的提升助于更完整的实景应用情境

两个质子 2018-01-31 11:44 次阅读

近年来VR虚拟实境与MR扩增实境的应用越来越受到重视,连智慧型手机在内的行动装置,也能搭配简易型头戴式支架,作为VR、MR显示器使用,不过由于行动装置效能低落的先天缺陷,让使用者体验受到影响,于是Google研发了能够牺牲些微画质却大幅提升效能的演算法,来解决这个问题。

行动装置无法负荷运算需求

由于VR虚拟实境与MR扩增实等技术,会透过3D绘图的方式建构场景,让使用者走入完整的虚拟场景,或将部分虚拟场景融入到真实世界,如果想要提升VR或MR画面的逼真度的话,势必需要增加3D绘图的细腻度,进而增加对3D绘图的效能需求。

为了要带来充沛的3D绘图效能,往往需要仰赖强悍的显示卡或显示晶片,这对于桌上型电脑或笔记型电脑还算是可以解决的问题,但是在智慧型手机或平板电脑等行动装置上,无论是显示晶片晶片的尺寸、发热量或是耗电量,都是无解的难题。

然而山不转路转,为了让行动装置也能提供较佳的VR、MR体验,Google着手研发特殊的演算法,能够将运算资源集中投注在画面中人眼比较敏锐的区域,让该区域维持一定的画质,并降低其他区域的画质表现,如此一来就能在有限的运算资源中,提升FPS效能表现,进而带来更出色的视觉感受。

VR_MR技术的提升助于更完整的应用情境

▲虽然Google Cardboard等简易型头戴式支架,能让智慧型手机作为VR、MR显示器使用,但是绘图效能始终是最大的问题之一。

省略人眼不敏感的部分

为了改善VR、MR的视觉体验,Google的研发团队针对人类视觉感官的特性,研发了对应的演算法,能在低运算需求与低耗电的前题下,依然能够兼顾从内容产制开始,一直到3D绘图、资料传输、处理延迟、与真实物件互动等环节,提供出色视觉体验。

在人类的视觉系统中,视网膜正中凹(Fovea Centralis)的功能能让我们将视野正中央区域看得很清楚,并能降低大脑对于周围视野区域的专注力,也就是说人类对于位在视野中央的物件有较外围区域高的辨识能力。视网膜正中凹渲染(Foveated Rendering)就是利用这种视觉特性,藉由降低外围区域绘制的解析度,来提升整体效能表现。

为了要达到这个目的,系统需要透过眼球追踪功能,锁定使用者的目光,以便推算出视觉的高敏锐(High Acuity)区域,让该区域的画面一直保持在高解析度状态。反过来说,如果搭配视网膜正中凹渲染的系统不具备眼球追踪功能,就需要绘制较大的高敏锐区域,来确保视觉体验。

在传统的视网膜正中凹渲染绘图技术中,大多将画格缓冲区(Frame Buffer)的整个画面切割为多个小区块,然而在使用者转动头部,或是画面中景色产生移动时,属于低敏锐(Low Acuity)区域的部分在拼合的过程就会产生混叠(Aliasing)瑕疵,进而影响视觉感受。

VR_MR技术的提升助于更完整的应用情境

▲视网膜正中凹(图中标示Fovea的部分)能让人类聚焦于视野中央。

VR_MR技术的提升助于更完整的应用情境

▲左半部为一般绘图方式,整个画面皆为相同解析度,右半部为视网膜正中凹渲染,只有黄色框内为正常解析度,周围则为较低的解析度。(图片来源:Google,下同)

VR_MR技术的提升助于更完整的应用情境

▲左半部为一般绘图方式,右半部为传统视网膜正中凹渲染,画面移动时比较不滑顺。(点此处观看GIF动态图档,档案大小约8.3MB)

解决拼合瑕疵

混叠瑕疵会造成画面移动时闪烁或抖动的情况,即便它产生在周围区域上,使用者还是能够轻易查觉到这类瑕疵,所以研发团队提出2种最佳化方式降低混叠瑕疵。

在相位排列渲染(Phase-Aligned Rendering)方式中,系统会强制将低敏锐区域与虚拟空间贴齐,而不是跟着使用者的头部转动,如此一来当使用者改变视角的时候,就比较不易察觉混叠瑕疵,让低敏锐区域在升频并投影至显示器时,能够发挥补偿头部转动的效果,降低画面抖动的情况。至于高敏锐区域则是采用传统的绘制方式,并覆盖到画面的中央区域。然而这种方式的缺点就是,系统需要绘制更大放范围的图像(包含视野外的部分),造成能够节省的运算资源比较有限。

另一种方式则称为保角渲染(Conformal Rendering),系统会根据使用者视点与物件之间的距离,动态调整绘图的解析度,越远的物件解析度越低(看起来也较模糊)。这样的好处在于视觉感受与人类的经验法则相近,而且画面内高、低敏锐区域的界线不会那么明显,而且只需1次绘图流程即可完成画面绘制,能比相位排列渲染节省更多运算资源,但其缺点就是在画面边缘的抖动会比较明显

VR_MR技术的提升助于更完整的应用情境

▲相位排列渲染能够有效降低画面抖动状况。(点此处观看GIF动态图档,档案大小约8.5MB)

VR_MR技术的提升助于更完整的应用情境

▲保角渲染则有助于节省更多运算资源。(点此处观看GIF动态图档,档案大小约8.4MB)

头戴式显示器也有玄机

如果希望在传输影响的过程中节省频宽,就能将画面中人眼最敏感的部分以较高的资料流量传输,并将低其他区域的流量,如此一来就能省下一些频宽。

另一方面,在一般情况下,头戴式显示器接收到画面之后,还需要经过校正透镜造成的变型等处理步骤,然而透过视网膜正中凹渲染产生的画面,也可以依照高、低敏锐区域的不同,分别施以不同精准度的处理手续,例如在升频之前先进行校正,就能省下不少运算资源。

VR_MR技术的提升助于更完整的应用情境

▲将画面依为人眼的敏感程度拆分为不同区块,并分配不同的流量,就可以将传输频宽花在刀口上。

VR_MR技术的提升助于更完整的应用情境

▲以不同的精准度处理画面中的各区域,也能省下运算资源。

研发团队表示他们在这种演算法中,考虑了许多对绘图、处理、传输造成的影响,并希望有助于下一代轻量、省电、高解析度的VR、MR产品发展,并能在近期带来更完整的应用情境。

原文标题:行动装置跑不动VR 、 MR 怎么办?Google:偷工减料就好了

文章出处:【微信号:lianggezhizi,微信公众号:两个质子】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

中国整体VR市场同季度比增长了25%,大朋顶替HTC Vive第一的位置

根据市场分析机构Canalys的报告表示,中国大陆VR头盔公司大朋在2017年第二季度已经超越HTC....

发表于 10-18 14:40 19次 阅读
中国整体VR市场同季度比增长了25%,大朋顶替HTC Vive第一的位置

VR越来越普及,交通行业也把VR延伸到了重要的领域

目前在道路安全教育方面,只是单纯的发宣传单或者交警授课,无法达到预期目标,宣传效果大打折扣。有了VR....

发表于 10-18 14:35 18次 阅读
VR越来越普及,交通行业也把VR延伸到了重要的领域

当虚拟现实遇上虚拟货币,将会化腐朽为神奇

尽管首款VR应用受到了热烈欢迎,但这种技术并不是一直都在炒作。目前为止,只有一小部分玩家已经过渡到虚....

发表于 10-18 14:25 30次 阅读
当虚拟现实遇上虚拟货币,将会化腐朽为神奇

飞行员一直在使用Oculus Go进行VR飞行,旨在有效地应对意外情况发生

美国德克萨斯州飞行员John Nagle和John Paul Sommer演示了他们如何依靠 Ocu....

发表于 10-18 14:18 20次 阅读
飞行员一直在使用Oculus Go进行VR飞行,旨在有效地应对意外情况发生

随着VR的应用增加,对存储的需求也会增加

游戏是VR当前的主要应用。然而,这项技术有可能在许多其他行业做出巨大贡献,如教育,医疗保健,零售或旅....

发表于 10-18 14:14 19次 阅读
随着VR的应用增加,对存储的需求也会增加

英特尔推出了技术学习实验室来开展VR教育

许多学校和教育机构已经在尝试使用虚拟现实(VR)作为增强和改善学生教育体验的手段。英特尔也没有忽略这....

发表于 10-18 14:08 28次 阅读
英特尔推出了技术学习实验室来开展VR教育

将VR的特性发挥到极致的游戏是如何诞生的?

在沉浸的世界中制作游戏赛道是最有意思的经历,特别是在这部作品中,玩家需要进入到VR世界中操作ASTR....

的头像 VR陀螺 发表于 10-18 11:34 232次 阅读
将VR的特性发挥到极致的游戏是如何诞生的?

由亚马逊投资的Thalmic设备穿戴公司宣布终止手势控制臂环Myo项目

ARena Space计划开发一款“面向大众市场的VR/AR主题乐园”,并为VR/AR内容开发者以及....

的头像 VR陀螺 发表于 10-18 11:27 247次 阅读
由亚马逊投资的Thalmic设备穿戴公司宣布终止手势控制臂环Myo项目

Jaunt宣布裁员并关闭VR项目,将专注发展AR业务

《Rec Room》在最近的更新中还带来了一款名为Rec Royale的多人对战射击游戏,该游戏允许....

的头像 VR陀螺 发表于 10-18 11:19 246次 阅读
Jaunt宣布裁员并关闭VR项目,将专注发展AR业务

三星最新的Windows MR头显已经通过了美国FCC批准

DJ Koh表示,“我们是第一家为我们的移动设备提供VR头显的公司,而且我们在这上面投入了大量的资金....

的头像 AR联盟 发表于 10-18 11:02 207次 阅读
三星最新的Windows MR头显已经通过了美国FCC批准

大朋VR 3DOF体感手柄:采用符合人体工程学的造型,可帮助用户自由操作

前段时间大朋发布的DPVR全景声3D巨幕影院受到了诸多用户的喜爱,这款设备拥有丰富的影视资源和舒适的....

发表于 10-18 10:09 19次 阅读
大朋VR 3DOF体感手柄:采用符合人体工程学的造型,可帮助用户自由操作

社交VR应用宣布更新,带来多人虚拟保龄球游戏

他们在一份声明中表示:“今天我们不得不做出一些艰难的决定,以便重新调整Jaunt的结构以获得持续的成....

发表于 10-18 09:56 18次 阅读
社交VR应用宣布更新,带来多人虚拟保龄球游戏

日本H2L株式会社推出与智能AI结合的“FirstVR运动”运动应用

近日,日本H2L株式会社推出与智能AI结合的“FirstVR运动”运动应用,该应用需要使用袖标型装置....

发表于 10-18 09:50 24次 阅读
日本H2L株式会社推出与智能AI结合的“FirstVR运动”运动应用

当BIM遇到VR又会有怎样的体验呢?

BIM这个词可能大家在熟悉不过了,BIM是以各项相关信息数据作为模型的基础,通过数字信息仿真模拟建筑....

发表于 10-17 14:53 43次 阅读
当BIM遇到VR又会有怎样的体验呢?

三星并没有放弃VR,而是正在大力研究VR和AR的结合

我们注意到三星自Galaxy S9发布会以后就没有提及过虚拟现实。这是否意味着三星不再对VR感兴趣呢....

发表于 10-17 14:50 166次 阅读
三星并没有放弃VR,而是正在大力研究VR和AR的结合

高通发布的60GHz Wi-Fi芯片组系列,无线VR体验或将得到进一步的改善

随着虚拟现实/增强现实(VR/AR)的发展,4K等超高分辨率视频流的传输对网络传输提出来更高的要求。....

发表于 10-17 14:46 44次 阅读
高通发布的60GHz Wi-Fi芯片组系列,无线VR体验或将得到进一步的改善

Magic Leap的人工智能助手Mica演示让我看到了AR的重要性

与VR不同的是,当你在谈论AR时,描述这种体验是非常困难的。

发表于 10-17 14:39 32次 阅读
Magic Leap的人工智能助手Mica演示让我看到了AR的重要性

Jaunt公司将重组,计划缩减VR业务以加快速度转型AR

据了解,Jaunt在一篇名为“Jaunt的未来是AR”的博客中写道,前不久收购全景直播方案团队Tel....

发表于 10-17 14:32 135次 阅读
Jaunt公司将重组,计划缩减VR业务以加快速度转型AR

五款最热门的VR头显浅析,你需要的选择指南!

VR已经正式应用于游戏领域,VR头显也出现在越来越多的游戏玩家的购买清单上。尽管值得消费者考虑的足够....

发表于 10-17 14:23 223次 阅读
五款最热门的VR头显浅析,你需要的选择指南!

瑞士研发出能让你在VR中获得触觉反馈的手套,重量仅需40g

虚拟现实(VR)在触觉反馈上的竞争日益激烈,不断有新的技术涌现来减少佩戴重量和功率需求。近日来自瑞士....

发表于 10-17 14:19 35次 阅读
瑞士研发出能让你在VR中获得触觉反馈的手套,重量仅需40g

VR影视先锋关闭VR业务,转而注重AR领域的开拓

Jaunt在一份声明中表示,此举属于公司重组,他们公司相当一部分员工不得不离开了。而关于裁员人数多少....

发表于 10-17 09:40 40次 阅读
VR影视先锋关闭VR业务,转而注重AR领域的开拓

VR游戏的春天为何这么短暂?该怎么才能留住春天?

不知不觉离上次VR游戏爆发式增长已经过了四年,经过短暂迅猛发展后迎来寒冬的VR游戏似乎在今年迎来转机....

发表于 10-17 09:36 81次 阅读
VR游戏的春天为何这么短暂?该怎么才能留住春天?

华为计划让VR飞入寻常百姓家,让大家可以共享VR极致体验的盛宴

戴上VR虚拟现实头盔的瞬间,就宛如置身地球之外的深邃太空,又或是在外星球欣赏前所未见的奇特景象,这....

发表于 10-16 09:19 106次 阅读
华为计划让VR飞入寻常百姓家,让大家可以共享VR极致体验的盛宴

TravelNevada利用VR和AR广告平台进行宣传,扩大360度广告的威力

内华达州(Nevada)旅游局宣布,他们的TravelNevada 360度视频广告在参与度指标上....

发表于 10-16 09:11 96次 阅读
TravelNevada利用VR和AR广告平台进行宣传,扩大360度广告的威力

Oculus加入了Rift软件的更新,将PC的力量带入VR

9月底,Oculus Connect 5发布了一系列的公告,其中的一组显然是Oculus Ques....

发表于 10-16 09:11 53次 阅读
Oculus加入了Rift软件的更新,将PC的力量带入VR

WorldVi宣布推出VizMove 2.0,一项基于位置和远程VR体验而设计的服务

随着虚拟现实(VR)向零售、教育和工业的新领域的扩展,许多公司正在成长以满足这个新兴市场的需求。其....

发表于 10-16 09:08 35次 阅读
WorldVi宣布推出VizMove 2.0,一项基于位置和远程VR体验而设计的服务

报告表明:中国对计算机视觉和增强现实的投资已飙升至39亿美元

一段时间以来,Digi-Capital一直担任科技公司的顾问,利用其分析平台制作了一份增强现实(A....

发表于 10-16 09:00 38次 阅读
报告表明:中国对计算机视觉和增强现实的投资已飙升至39亿美元

Porgs为使玩家更加的身临其境,在ILMxLAB实验中实现了混合现实

这种奇怪的、毛茸茸的、像鸟一样的生物叫做Porgs,第一次出现在《星球大战:最后的绝地》中,它很快....

发表于 10-16 08:56 70次 阅读
Porgs为使玩家更加的身临其境,在ILMxLAB实验中实现了混合现实

VR Cover为流行的VR耳机提供定制的面部界面

VR Cover为流行的VR耳机提供定制的面部界面,如Oculus Rift, HTC Vive,....

发表于 10-16 08:52 32次 阅读
VR Cover为流行的VR耳机提供定制的面部界面

VRHealth将使用Oculus Go和Rift为健康挑战提供VR技术解决方案

VRHealth提供先进的认知测试,疼痛管理和心理评估解决方案。VR内容带来了非入侵性的医疗工具,而....

发表于 10-15 15:19 37次 阅读
VRHealth将使用Oculus Go和Rift为健康挑战提供VR技术解决方案

青岛市博物馆获得第一个VR项目,利用虚拟现实提升博物馆感知体验

2018年6月,青岛市博物馆申报的2018年度青岛市群众文化活动类项目“真情传博万里行之青岛史话展览....

发表于 10-15 15:12 126次 阅读
青岛市博物馆获得第一个VR项目,利用虚拟现实提升博物馆感知体验

报告显示汽车行业消费者希望利用VR/AR技术来帮助他们做出购买决定

继8月ZeroLight和StarVR合作为保时捷展厅提供VR改造后,ZeroLight宣布推出VR....

发表于 10-15 15:09 43次 阅读
报告显示汽车行业消费者希望利用VR/AR技术来帮助他们做出购买决定

截至9月底,全球2018年AR/VR行业已公布风险投资事件总共119起

日前,小编公布了AR/VR行业最新的风险投资事件报告。根据该报告,截至9月底,全球2018年AR/V....

发表于 10-15 15:05 81次 阅读
截至9月底,全球2018年AR/VR行业已公布风险投资事件总共119起

高通移动VR面临的挑战性能、设计、散热、续航及调试等浅析

无论是虚拟现实还是混合现实,要为任何一个“现实”开发内容,你需要的不仅仅只是一个优秀的开发平台。对于....

发表于 10-15 14:17 192次 阅读
高通移动VR面临的挑战性能、设计、散热、续航及调试等浅析

Woojer公司众筹一款VR触觉背心,兼容手机PC

近日,众筹网站上出现了一款VR触觉背心——Woojer Ryg,这款触觉背心来自Woojer公司,支....

发表于 10-15 14:13 54次 阅读
Woojer公司众筹一款VR触觉背心,兼容手机PC

在5G驱动的下,AR/VR将会达到临界点

近日,一份来自英特尔和Ovum的报告,显示了该公司对于未来十年5G蜂窝网络的预估,报告的结论很值得期....

发表于 10-15 09:35 57次 阅读
在5G驱动的下,AR/VR将会达到临界点

什么是VR?VR技术原理和发展过程及核心技术分析

戴上一副眼镜,连接电脑或手机,你就能进入一个全新的虚拟世界,这种类似科幻电影《黑客帝国》里的场景正在....

的头像 传感器技术 发表于 10-14 10:00 413次 阅读
什么是VR?VR技术原理和发展过程及核心技术分析

如何评估国内VR游戏行业现状和未来?

VR和游戏的共同点都是:开发工具一直再更新迭代,我们会基于引擎开发开发工具,而不是只使用引擎的原始功....

发表于 10-13 08:38 131次 阅读
如何评估国内VR游戏行业现状和未来?

增强现实及虚拟现实技术已成为改善企业业务运营的主流

这份名为《业务运营中的增强现实和虚拟现实:投资指南》的报告指出,目前使用AR/VR技术的企业中有 8....

发表于 10-13 08:38 39次 阅读
增强现实及虚拟现实技术已成为改善企业业务运营的主流

大卫林奇《逃离红色房间》VR再创作

大卫•林奇(David Lynch)的电视剧《双峰》(Twin peak)的诞生,曾让许多人都疑惑,....

发表于 10-13 08:38 151次 阅读
大卫林奇《逃离红色房间》VR再创作

一部讲述Stuxnet病毒历史的VR纪录片获得了艾美奖

2017年,creative studio Scatter与Oculus Studios合作,创造并....

发表于 10-13 08:38 184次 阅读
一部讲述Stuxnet病毒历史的VR纪录片获得了艾美奖

随着VR和AR持续被广泛地使用和采用,VR和AR行业已经迅速扩大和发展

随着虚拟现实(VR)和增强现实(AR)持续被广泛地使用和采用,沉浸式技术行业正在不断发展。Histo....

发表于 10-12 14:57 129次 阅读
随着VR和AR持续被广泛地使用和采用,VR和AR行业已经迅速扩大和发展

中国首次卫星VR直播实验由全球首家VR电视台DIASIA TVR电视台发起

2018年10月10日,在西藏林芝地区巴松措,中国首次通过卫星进行VR直播实验获得成功。

发表于 10-12 14:49 265次 阅读
中国首次卫星VR直播实验由全球首家VR电视台DIASIA TVR电视台发起

对于下一代虚拟现实技术来说是眼睛跟踪重要的

眼睛跟踪被认为对于下一代虚拟现实(VR)技术是重要的,因为它支持诸如foveated渲染技术,到目前....

发表于 10-12 14:35 99次 阅读
对于下一代虚拟现实技术来说是眼睛跟踪重要的

Facebook推出支持VR模式浏览的新3D图片功能

早在5月份,Facebook就曾展示过3D图片功能,现在其宣布将正式推出这项新功能,用户使用iPho....

发表于 10-12 14:25 66次 阅读
Facebook推出支持VR模式浏览的新3D图片功能

2018年是VR的分水岭,或将走出炒作期迎来大爆发

在过去的几年中,虚拟现实行业几经波折,前几年高涨的情绪和期望,我认为大部分是由于对新兴技术与产品市场....

发表于 10-12 09:56 128次 阅读
2018年是VR的分水岭,或将走出炒作期迎来大爆发

Fnatic联手Sansar推出社交VR平台,让粉丝们可以在VR平台上观看比赛直播

近日,电竞团队Fnatic与社交VR世界Sansar合作,共同创建了一个社交VR平台,名为Fnati....

发表于 10-12 09:45 83次 阅读
Fnatic联手Sansar推出社交VR平台,让粉丝们可以在VR平台上观看比赛直播

沉浸式VR恐怖体验Transference获得了最佳动画体验奖

欧洲最负盛名的独立电影节之一“雨之舞电影节”(Raindance film Festival)刚刚....

发表于 10-11 09:35 83次 阅读
沉浸式VR恐怖体验Transference获得了最佳动画体验奖

Satore Tech已经完成了他们的第一个虚拟现实项目

来自多学科创意工作室Satore studio的Satore Tech透露,他们已经完成了他们的....

发表于 10-11 09:31 124次 阅读
Satore Tech已经完成了他们的第一个虚拟现实项目

奥迪利用VR培训物流部门,开发更为迅速且更加划算

准备虚拟培训课程现在几乎无需编程知识。借助所谓的Virtual Reality Software ....

发表于 10-11 09:21 173次 阅读
奥迪利用VR培训物流部门,开发更为迅速且更加划算