VR和MR技术的提升助于更完整的实景应用情境

两个质子 2018-01-31 11:44 次阅读

近年来VR虚拟实境与MR扩增实境的应用越来越受到重视,连智慧型手机在内的行动装置,也能搭配简易型头戴式支架,作为VR、MR显示器使用,不过由于行动装置效能低落的先天缺陷,让使用者体验受到影响,于是Google研发了能够牺牲些微画质却大幅提升效能的演算法,来解决这个问题。

行动装置无法负荷运算需求

由于VR虚拟实境与MR扩增实等技术,会透过3D绘图的方式建构场景,让使用者走入完整的虚拟场景,或将部分虚拟场景融入到真实世界,如果想要提升VR或MR画面的逼真度的话,势必需要增加3D绘图的细腻度,进而增加对3D绘图的效能需求。

为了要带来充沛的3D绘图效能,往往需要仰赖强悍的显示卡或显示晶片,这对于桌上型电脑或笔记型电脑还算是可以解决的问题,但是在智慧型手机或平板电脑等行动装置上,无论是显示晶片晶片的尺寸、发热量或是耗电量,都是无解的难题。

然而山不转路转,为了让行动装置也能提供较佳的VR、MR体验,Google着手研发特殊的演算法,能够将运算资源集中投注在画面中人眼比较敏锐的区域,让该区域维持一定的画质,并降低其他区域的画质表现,如此一来就能在有限的运算资源中,提升FPS效能表现,进而带来更出色的视觉感受。

VR_MR技术的提升助于更完整的应用情境

▲虽然Google Cardboard等简易型头戴式支架,能让智慧型手机作为VR、MR显示器使用,但是绘图效能始终是最大的问题之一。

省略人眼不敏感的部分

为了改善VR、MR的视觉体验,Google的研发团队针对人类视觉感官的特性,研发了对应的演算法,能在低运算需求与低耗电的前题下,依然能够兼顾从内容产制开始,一直到3D绘图、资料传输、处理延迟、与真实物件互动等环节,提供出色视觉体验。

在人类的视觉系统中,视网膜正中凹(Fovea Centralis)的功能能让我们将视野正中央区域看得很清楚,并能降低大脑对于周围视野区域的专注力,也就是说人类对于位在视野中央的物件有较外围区域高的辨识能力。视网膜正中凹渲染(Foveated Rendering)就是利用这种视觉特性,藉由降低外围区域绘制的解析度,来提升整体效能表现。

为了要达到这个目的,系统需要透过眼球追踪功能,锁定使用者的目光,以便推算出视觉的高敏锐(High Acuity)区域,让该区域的画面一直保持在高解析度状态。反过来说,如果搭配视网膜正中凹渲染的系统不具备眼球追踪功能,就需要绘制较大的高敏锐区域,来确保视觉体验。

在传统的视网膜正中凹渲染绘图技术中,大多将画格缓冲区(Frame Buffer)的整个画面切割为多个小区块,然而在使用者转动头部,或是画面中景色产生移动时,属于低敏锐(Low Acuity)区域的部分在拼合的过程就会产生混叠(Aliasing)瑕疵,进而影响视觉感受。

VR_MR技术的提升助于更完整的应用情境

▲视网膜正中凹(图中标示Fovea的部分)能让人类聚焦于视野中央。

VR_MR技术的提升助于更完整的应用情境

▲左半部为一般绘图方式,整个画面皆为相同解析度,右半部为视网膜正中凹渲染,只有黄色框内为正常解析度,周围则为较低的解析度。(图片来源:Google,下同)

VR_MR技术的提升助于更完整的应用情境

▲左半部为一般绘图方式,右半部为传统视网膜正中凹渲染,画面移动时比较不滑顺。(点此处观看GIF动态图档,档案大小约8.3MB)

解决拼合瑕疵

混叠瑕疵会造成画面移动时闪烁或抖动的情况,即便它产生在周围区域上,使用者还是能够轻易查觉到这类瑕疵,所以研发团队提出2种最佳化方式降低混叠瑕疵。

在相位排列渲染(Phase-Aligned Rendering)方式中,系统会强制将低敏锐区域与虚拟空间贴齐,而不是跟着使用者的头部转动,如此一来当使用者改变视角的时候,就比较不易察觉混叠瑕疵,让低敏锐区域在升频并投影至显示器时,能够发挥补偿头部转动的效果,降低画面抖动的情况。至于高敏锐区域则是采用传统的绘制方式,并覆盖到画面的中央区域。然而这种方式的缺点就是,系统需要绘制更大放范围的图像(包含视野外的部分),造成能够节省的运算资源比较有限。

另一种方式则称为保角渲染(Conformal Rendering),系统会根据使用者视点与物件之间的距离,动态调整绘图的解析度,越远的物件解析度越低(看起来也较模糊)。这样的好处在于视觉感受与人类的经验法则相近,而且画面内高、低敏锐区域的界线不会那么明显,而且只需1次绘图流程即可完成画面绘制,能比相位排列渲染节省更多运算资源,但其缺点就是在画面边缘的抖动会比较明显

VR_MR技术的提升助于更完整的应用情境

▲相位排列渲染能够有效降低画面抖动状况。(点此处观看GIF动态图档,档案大小约8.5MB)

VR_MR技术的提升助于更完整的应用情境

▲保角渲染则有助于节省更多运算资源。(点此处观看GIF动态图档,档案大小约8.4MB)

头戴式显示器也有玄机

如果希望在传输影响的过程中节省频宽,就能将画面中人眼最敏感的部分以较高的资料流量传输,并将低其他区域的流量,如此一来就能省下一些频宽。

另一方面,在一般情况下,头戴式显示器接收到画面之后,还需要经过校正透镜造成的变型等处理步骤,然而透过视网膜正中凹渲染产生的画面,也可以依照高、低敏锐区域的不同,分别施以不同精准度的处理手续,例如在升频之前先进行校正,就能省下不少运算资源。

VR_MR技术的提升助于更完整的应用情境

▲将画面依为人眼的敏感程度拆分为不同区块,并分配不同的流量,就可以将传输频宽花在刀口上。

VR_MR技术的提升助于更完整的应用情境

▲以不同的精准度处理画面中的各区域,也能省下运算资源。

研发团队表示他们在这种演算法中,考虑了许多对绘图、处理、传输造成的影响,并希望有助于下一代轻量、省电、高解析度的VR、MR产品发展,并能在近期带来更完整的应用情境。

原文标题:行动装置跑不动VR 、 MR 怎么办?Google:偷工减料就好了

文章出处:【微信号:lianggezhizi,微信公众号:两个质子】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

Mercedes-Benz全球培训中心引入MR技术,来改善学员们的培训工作

参与者戴着MR耳机,可以看到汽车及其内部部件的3D数字模型,可以全面了解变速箱、刹车组件和其他组件的....

发表于 08-17 09:58 41次 阅读
Mercedes-Benz全球培训中心引入MR技术,来改善学员们的培训工作

Firesprite将在活动中展示PlayStation VR游戏的可玩版本

开发人员Firesprite将把它的混合科幻恐怖游戏带到Gamescom XR审查活动中,供与会者欣....

发表于 08-17 09:55 19次 阅读
Firesprite将在活动中展示PlayStation VR游戏的可玩版本

StarVR 为企业提供虚拟现实的新世界

在上周首次亮相之后,StarVR公司发布了最新的虚拟现实(VR)头戴式显示器(HMD)\StarVR....

的头像 D6VR 发表于 08-17 09:46 30次 阅读
StarVR 为企业提供虚拟现实的新世界

WAX和Terra Virtua合作打造AR/VR交易平台

WAX(全球资产交换组织)是几个利用区块链技术推动数字产品销售和交换的数字市场之一。WAX现在宣布与....

的头像 D6VR 发表于 08-17 09:46 36次 阅读
WAX和Terra Virtua合作打造AR/VR交易平台

Schenker与Meta合作,为客户提供最好的AR解决方案

与微软的HoloLens最直接的竞争对手——后者的价格要贵得多——Meta 2是围绕企业解决方案设计....

发表于 08-17 09:45 23次 阅读
Schenker与Meta合作,为客户提供最好的AR解决方案

微软与当红齐天合作,共创VR\AR娱乐综合体

微软在峰会现场宣布,将与当红齐天旗下的VR品牌SoReal展开合作,即将在位于北京的王府井旗舰店创立....

发表于 08-17 09:44 34次 阅读
微软与当红齐天合作,共创VR\AR娱乐综合体

英国广播公司宣布首次在VR的The Proms上播放表演

英国广播公司(BBC)总能上演一出精彩的节目,为期八周的夏季管弦乐音乐会被称为The Proms音....

发表于 08-17 09:44 48次 阅读
英国广播公司宣布首次在VR的The Proms上播放表演

VRgineers计划对Pro头显XTAL进行额外升级,让他们获得更大的自由

今年6月,虚拟现实(VR)头戴式显示器(HMD)制造商VRgineers在展示了价值5800美元的....

发表于 08-17 09:38 34次 阅读
VRgineers计划对Pro头显XTAL进行额外升级,让他们获得更大的自由

AltspaceVR发布了一套新VR工具,允许用户创建自己的共享空间

社交虚拟现实(VR)平台AltspaceVR于2014年首次亮相,本周发布了一套新工具。这套新工具....

发表于 08-17 09:37 41次 阅读
AltspaceVR发布了一套新VR工具,允许用户创建自己的共享空间

《A Township Tale》一款能让你和小伙伴一起享受VR乐趣的游戏

Tima表示,之所以要做这样一款结合沙盒与RPG元素的VR游戏,是因为VR的沉浸感与RPG这种类型的....

的头像 VR陀螺 发表于 08-17 09:33 188次 阅读
《A Township Tale》一款能让你和小伙伴一起享受VR乐趣的游戏

斯巴鲁转向身临其境的技术,利用VR和AR建立新的展厅体验

沉浸式技术帮助汽车行业达到新的高度已经有一段时间了。由于有了虚拟现实(VR)和增强现实(AR)体验....

发表于 08-17 09:31 153次 阅读
斯巴鲁转向身临其境的技术,利用VR和AR建立新的展厅体验

VirtualLink标准:让下一代VR硬件通过允许VR头显连接到PC

NVIDIA专业视觉化副总裁Bob Pette表示,新款Quadro GTX显卡将是首批具备实时光线....

发表于 08-17 09:25 118次 阅读
VirtualLink标准:让下一代VR硬件通过允许VR头显连接到PC

微软与Metastage建立伙伴关系,为数字世界带来了人类表演的力量

Metastage工作室具备了创造栩栩如生的体积捕捉的能力,凭借其MR捕捉和制作方法,为数字世界带来....

发表于 08-17 09:25 30次 阅读
微软与Metastage建立伙伴关系,为数字世界带来了人类表演的力量

VR音乐内容平台MelodyVR正在与NEC Group Arenas合作

此外,关于即将到来的表演信息也将在The Ticket Factory官网的特定活动页面上进行宣传,....

的头像 AR联盟 发表于 08-17 09:24 157次 阅读
VR音乐内容平台MelodyVR正在与NEC Group Arenas合作

六月猴数字科技有限公司专业定制级VR体验设备,了解一下

VR体验店在2016年爆发式的井喷后,发展开始停滞不前,据说有五成多的VR体验店到目前为止还没有实现....

发表于 08-17 09:15 51次 阅读
六月猴数字科技有限公司专业定制级VR体验设备,了解一下

《Beat Saber》竞赛的开启将成为历史上最大型的VR街机店活动

Dedicated Events则在参赛街机店进行《Beat Saber》竞赛,至少两个小时。玩家可....

发表于 08-17 09:10 37次 阅读
《Beat Saber》竞赛的开启将成为历史上最大型的VR街机店活动

Soundscape VR:一个成熟的VR世界,充满了有待发现的秘密

早在2014年,Leap motion举办了一场游戏Jam,最终吸引了100多名参赛者。入围的半决....

发表于 08-17 09:06 190次 阅读
Soundscape VR:一个成熟的VR世界,充满了有待发现的秘密

WAX牵手Terra Virtua,创建一个安全、流畅的VR社交环境

WAX(全球资产交换组织)是几个利用区块链技术推动数字产品销售和交换的数字市场之一。WAX现在宣布....

发表于 08-17 09:03 16次 阅读
WAX牵手Terra Virtua,创建一个安全、流畅的VR社交环境

在Sansar上推出了Greenwall VR,利用VR正式进军电子竞技领域

社交虚拟现实(VR)平台Sansar正进军电子竞技领域,希望通过新的合作伙伴关系将更多用户吸引到该....

发表于 08-17 09:02 16次 阅读
在Sansar上推出了Greenwall VR,利用VR正式进军电子竞技领域

英国儿童医院正在引入沉浸式技术,帮助改善患者的治疗效果

Alder Hey医院每年照顾超过27万年轻人和他们的家庭。医院的工作人员希望在会议室的手术室和大屏....

发表于 08-17 08:55 26次 阅读
英国儿童医院正在引入沉浸式技术,帮助改善患者的治疗效果

VR应用会是酒店经营业绩的强心剂吗

酒店是一个以服务为本的行业,依靠客人对各项服务的满意度来提升酒店的入住率和经营效益。而VR全景展示技....

发表于 08-17 08:45 55次 阅读
VR应用会是酒店经营业绩的强心剂吗

Valence宣布正式收购AR/VR工作室8ninths,为数字化转型业务打下基础

2018年08月16日,Valence Group是一家数字转型解决方案提供商,致力于帮助全球企业....

发表于 08-17 08:38 36次 阅读
Valence宣布正式收购AR/VR工作室8ninths,为数字化转型业务打下基础

AltspaceVR推出一套任何人都能创建可定制的VR空间的构建工具包

在今天的虚拟市政厅,AltspaceVR推出了一套工具,任何人都可以创建可定制的VR空间。这两款新....

发表于 08-17 08:35 30次 阅读
AltspaceVR推出一套任何人都能创建可定制的VR空间的构建工具包

胡罗舶顺利转型为AR新零售营销服务商,近期完成金额为500万的天使轮融资

近日,获悉,此前报道过的项目胡罗舶,顺利转型为AR新零售营销服务商,并于近期完成天使轮融资,融资金额....

发表于 08-16 16:58 232次 阅读
胡罗舶顺利转型为AR新零售营销服务商,近期完成金额为500万的天使轮融资

StarVR推出新一代VR头戴式设备:搭载集成眼动追踪,能够提供接近完整人眼视角

虚拟现实技术公司 StarVR 今日推出旗下新一代 VR 头戴式设备。StarVR 声称,于 SIG....

发表于 08-16 16:51 112次 阅读
StarVR推出新一代VR头戴式设备:搭载集成眼动追踪,能够提供接近完整人眼视角

BISim将开发AR头戴式显示器和VR部分任务训练器

通过VR培训,用户将完全沉浸在虚拟世界中,看到他们在安全可控的环境中完成详细的培训练习。AR培训组件....

发表于 08-16 16:47 68次 阅读
BISim将开发AR头戴式显示器和VR部分任务训练器

StarVR推出旗下新一代VR头戴式设备

虚拟现实技术公司 StarVR 推出旗下新一代 VR 头戴式设备。StarVR 声称,于 SIGGR....

的头像 OFweek可穿戴设备网 发表于 08-16 15:26 163次 阅读
StarVR推出旗下新一代VR头戴式设备

这三款VR设备,比起性价比的小米VR一体机更显突出

爱奇艺iQUT未来影院采用沉稳磨砂黑的复合材料作为机身外壳,正面和左侧分别印有“iQUT”和“iQI....

发表于 08-16 11:11 678次 阅读
这三款VR设备,比起性价比的小米VR一体机更显突出

虚拟现实+医疗不断融合,中国虚拟现实市场潜力十足

具体表现在,虚拟现实技术在骨科等领域广泛应用。随着数字化技术的发展,为生活、生产带来了极大便利,虚拟....

发表于 08-15 19:22 75次 阅读
虚拟现实+医疗不断融合,中国虚拟现实市场潜力十足

AltspaceVR:可在虚拟现实中构建共享空间的vr

如果您愿意,您可以在VR中托管多人社交游戏,导入您的世界各地的摄影快照,并将传送器包含在公共空间中。....

发表于 08-15 19:15 248次 阅读
AltspaceVR:可在虚拟现实中构建共享空间的vr

Vroom发布基于虚拟现实技术的汽车展示间

公司高管Misra表示,预计将在今年末提供HTC Vive、Google Cardboard、Sam....

发表于 08-15 19:07 80次 阅读
Vroom发布基于虚拟现实技术的汽车展示间

StarVR推出旗下新一代 VR 头戴式设备,搭载眼动追踪技术,未来或将开拓商业应用领域

虚拟现实技术公司 StarVR 今日推出旗下新一代 VR 头戴式设备。StarVR 声称,于 SIG....

发表于 08-15 10:18 58次 阅读
StarVR推出旗下新一代 VR 头戴式设备,搭载眼动追踪技术,未来或将开拓商业应用领域

基于位置的VR系统将Vicon的跟踪系统和VR中心运营商的一系列简单工具相结合

Vicon首席执行官Imogen Moorhouse表示:“我们在创造世界上最精确、最强大光学动作捕....

的头像 AR联盟 发表于 08-15 09:21 344次 阅读
基于位置的VR系统将Vicon的跟踪系统和VR中心运营商的一系列简单工具相结合

2018年AR/VR产值将达178亿美元,零售将成为产值最大的行业

从2016年全面爆发、到2018年稳步增长,VR和AR已经是人们司空见惯的事物之一了。VR能够利用电....

发表于 08-14 17:55 117次 阅读
2018年AR/VR产值将达178亿美元,零售将成为产值最大的行业

谷歌将发布一款用于VR设备的宽视野高灵敏度的头戴式显示屏

据报道,市场研究公司IDC预测,虚拟现实和增强现实头显出货量未来将快速增长。销量将由2017年的约8....

发表于 08-14 17:51 304次 阅读
谷歌将发布一款用于VR设备的宽视野高灵敏度的头戴式显示屏

谷歌计划收购Lytro,以扩充在VR领域的硬实力

多家媒体报道称,谷歌正计划以4,000万美元收购光场相机制造商Lytro。尽管该交易尚未达成,但一些....

发表于 08-14 17:42 252次 阅读
谷歌计划收购Lytro,以扩充在VR领域的硬实力

一款独特的VR头显,带上它就能感受第一视角的地球美景

没有人比宇航员更有发言权了,他们是少数能够站在太空中,以第一人称视角去观察地球的一批人。美国国家地理....

发表于 08-14 17:39 51次 阅读
一款独特的VR头显,带上它就能感受第一视角的地球美景

各大相关厂商都在加大投入研发资金,VR&AR创纪录获226亿融资

众所周知,“VR&AR”是过去一年科技行业的关键词,各大相关厂商都在加大投入研发资金。既然“烧钱”在....

发表于 08-14 17:33 242次 阅读
各大相关厂商都在加大投入研发资金,VR&AR创纪录获226亿融资

网易联手Survios成立公司,专注VR游戏线下出版发行

8月10日,网易游戏VR战略发布会在广州举行,会上,网易和《Raw Data》的研发公司Survio....

发表于 08-14 17:29 226次 阅读
网易联手Survios成立公司,专注VR游戏线下出版发行

VR近期信息热点分享

StarVR是一家专注开发高端VR头显的开发商,其将在下周的SIGGRAPH 2018上发布的新内容....

发表于 08-14 16:00 118次 阅读
VR近期信息热点分享

玖发布VR吃鸡游戏,隐藏着怎样的意图

今年是VR走进ChinaJoy第五个年头,如果你往年见识过VR是多么热闹,那今年的VR一定让你觉得有....

发表于 08-14 15:25 122次 阅读
玖发布VR吃鸡游戏,隐藏着怎样的意图

Altspace VR发布一套新工具,让人们在VR中容易创建共享空间

根据这家公司公布的博文了解到,Altspace VR首先将发布一些基础的空间构建套件,未来则将带来更....

发表于 08-14 15:19 277次 阅读
Altspace VR发布一套新工具,让人们在VR中容易创建共享空间

京东方开始生产VR和AR用Micro OLED 面板,进军激烈的AR/VR市场

根据8月8日业界消息,京东方最近正在进行位于云南省昆明的超小尺寸Micro OLED产线的投资。继三....

发表于 08-13 18:08 91次 阅读
京东方开始生产VR和AR用Micro OLED 面板,进军激烈的AR/VR市场

印尼VR线下体验馆市场大揭秘,如何才能进入印尼市场?

线下娱乐市场在近年来得到了越来越多人的关注,不论是IMAX、万代南梦宫、SEGA等大厂都已经加入进来....

发表于 08-13 17:58 39次 阅读
印尼VR线下体验馆市场大揭秘,如何才能进入印尼市场?

VR看房的背后,究竟还隐藏着多少的可能性?

据了解,事件中用户使用的是名为贝壳找房的房产服务软件,也就是链家网的升级版,其中加入了VR看房的功能....

发表于 08-13 17:55 43次 阅读
VR看房的背后,究竟还隐藏着多少的可能性?

微软计划开发一套新的VR共享空间技术,开启自己的VR共享时代

对于下一代计算机的平台,可能很多人会认为是虚拟现实技术,没错,现在的VR领域在内容上已经非常的丰富,....

发表于 08-13 17:52 76次 阅读
微软计划开发一套新的VR共享空间技术,开启自己的VR共享时代