VR和MR技术的提升助于更完整的实景应用情境

两个质子 2018-01-31 11:44 次阅读

近年来VR虚拟实境与MR扩增实境的应用越来越受到重视,连智慧型手机在内的行动装置,也能搭配简易型头戴式支架,作为VR、MR显示器使用,不过由于行动装置效能低落的先天缺陷,让使用者体验受到影响,于是Google研发了能够牺牲些微画质却大幅提升效能的演算法,来解决这个问题。

行动装置无法负荷运算需求

由于VR虚拟实境与MR扩增实等技术,会透过3D绘图的方式建构场景,让使用者走入完整的虚拟场景,或将部分虚拟场景融入到真实世界,如果想要提升VR或MR画面的逼真度的话,势必需要增加3D绘图的细腻度,进而增加对3D绘图的效能需求。

为了要带来充沛的3D绘图效能,往往需要仰赖强悍的显示卡或显示晶片,这对于桌上型电脑或笔记型电脑还算是可以解决的问题,但是在智慧型手机或平板电脑等行动装置上,无论是显示晶片晶片的尺寸、发热量或是耗电量,都是无解的难题。

然而山不转路转,为了让行动装置也能提供较佳的VR、MR体验,Google着手研发特殊的演算法,能够将运算资源集中投注在画面中人眼比较敏锐的区域,让该区域维持一定的画质,并降低其他区域的画质表现,如此一来就能在有限的运算资源中,提升FPS效能表现,进而带来更出色的视觉感受。

VR_MR技术的提升助于更完整的应用情境

▲虽然Google Cardboard等简易型头戴式支架,能让智慧型手机作为VR、MR显示器使用,但是绘图效能始终是最大的问题之一。

省略人眼不敏感的部分

为了改善VR、MR的视觉体验,Google的研发团队针对人类视觉感官的特性,研发了对应的演算法,能在低运算需求与低耗电的前题下,依然能够兼顾从内容产制开始,一直到3D绘图、资料传输、处理延迟、与真实物件互动等环节,提供出色视觉体验。

在人类的视觉系统中,视网膜正中凹(Fovea Centralis)的功能能让我们将视野正中央区域看得很清楚,并能降低大脑对于周围视野区域的专注力,也就是说人类对于位在视野中央的物件有较外围区域高的辨识能力。视网膜正中凹渲染(Foveated Rendering)就是利用这种视觉特性,藉由降低外围区域绘制的解析度,来提升整体效能表现。

为了要达到这个目的,系统需要透过眼球追踪功能,锁定使用者的目光,以便推算出视觉的高敏锐(High Acuity)区域,让该区域的画面一直保持在高解析度状态。反过来说,如果搭配视网膜正中凹渲染的系统不具备眼球追踪功能,就需要绘制较大的高敏锐区域,来确保视觉体验。

在传统的视网膜正中凹渲染绘图技术中,大多将画格缓冲区(Frame Buffer)的整个画面切割为多个小区块,然而在使用者转动头部,或是画面中景色产生移动时,属于低敏锐(Low Acuity)区域的部分在拼合的过程就会产生混叠(Aliasing)瑕疵,进而影响视觉感受。

VR_MR技术的提升助于更完整的应用情境

▲视网膜正中凹(图中标示Fovea的部分)能让人类聚焦于视野中央。

VR_MR技术的提升助于更完整的应用情境

▲左半部为一般绘图方式,整个画面皆为相同解析度,右半部为视网膜正中凹渲染,只有黄色框内为正常解析度,周围则为较低的解析度。(图片来源:Google,下同)

VR_MR技术的提升助于更完整的应用情境

▲左半部为一般绘图方式,右半部为传统视网膜正中凹渲染,画面移动时比较不滑顺。(点此处观看GIF动态图档,档案大小约8.3MB)

解决拼合瑕疵

混叠瑕疵会造成画面移动时闪烁或抖动的情况,即便它产生在周围区域上,使用者还是能够轻易查觉到这类瑕疵,所以研发团队提出2种最佳化方式降低混叠瑕疵。

在相位排列渲染(Phase-Aligned Rendering)方式中,系统会强制将低敏锐区域与虚拟空间贴齐,而不是跟着使用者的头部转动,如此一来当使用者改变视角的时候,就比较不易察觉混叠瑕疵,让低敏锐区域在升频并投影至显示器时,能够发挥补偿头部转动的效果,降低画面抖动的情况。至于高敏锐区域则是采用传统的绘制方式,并覆盖到画面的中央区域。然而这种方式的缺点就是,系统需要绘制更大放范围的图像(包含视野外的部分),造成能够节省的运算资源比较有限。

另一种方式则称为保角渲染(Conformal Rendering),系统会根据使用者视点与物件之间的距离,动态调整绘图的解析度,越远的物件解析度越低(看起来也较模糊)。这样的好处在于视觉感受与人类的经验法则相近,而且画面内高、低敏锐区域的界线不会那么明显,而且只需1次绘图流程即可完成画面绘制,能比相位排列渲染节省更多运算资源,但其缺点就是在画面边缘的抖动会比较明显

VR_MR技术的提升助于更完整的应用情境

▲相位排列渲染能够有效降低画面抖动状况。(点此处观看GIF动态图档,档案大小约8.5MB)

VR_MR技术的提升助于更完整的应用情境

▲保角渲染则有助于节省更多运算资源。(点此处观看GIF动态图档,档案大小约8.4MB)

头戴式显示器也有玄机

如果希望在传输影响的过程中节省频宽,就能将画面中人眼最敏感的部分以较高的资料流量传输,并将低其他区域的流量,如此一来就能省下一些频宽。

另一方面,在一般情况下,头戴式显示器接收到画面之后,还需要经过校正透镜造成的变型等处理步骤,然而透过视网膜正中凹渲染产生的画面,也可以依照高、低敏锐区域的不同,分别施以不同精准度的处理手续,例如在升频之前先进行校正,就能省下不少运算资源。

VR_MR技术的提升助于更完整的应用情境

▲将画面依为人眼的敏感程度拆分为不同区块,并分配不同的流量,就可以将传输频宽花在刀口上。

VR_MR技术的提升助于更完整的应用情境

▲以不同的精准度处理画面中的各区域,也能省下运算资源。

研发团队表示他们在这种演算法中,考虑了许多对绘图、处理、传输造成的影响,并希望有助于下一代轻量、省电、高解析度的VR、MR产品发展,并能在近期带来更完整的应用情境。

热门推荐

原文标题:行动装置跑不动VR 、 MR 怎么办?Google:偷工减料就好了

文章出处:【微信号:lianggezhizi,微信公众号:两个质子】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

【晚间三分钟】半导体工程师告急薪资6万元;联想集团第一季度营收106亿美元 ;高通发布专门为VR和AR设计芯

今天的科技晚报内容有:半导体工程师告急;联想集团第一季度营收106亿美元;高通发布专门为VR和AR设....

的头像 肖青梅 发表于 05-25 18:00 142次阅读
【晚间三分钟】半导体工程师告急薪资6万元;联想集团第一季度营收106亿美元 ;高通发布专门为VR和AR设计芯

HTC U12+官方售价5888元 手机渐渐变为VR配件

HTC U12 +并没有在“全面屏”这个概念上做文章,虽然没有正面指纹解锁但是顶部和底部依旧不是很....

发表于 05-25 16:37 13次阅读
HTC U12+官方售价5888元  手机渐渐变为VR配件

高通计划发布一块针对独立虚拟现实(VR)和增强现实(AR)设备所打造的专用芯片

彭博社援引消息人士报道称,为了寻求智能手机之外的业务营收,高通计划发布一块针对独立虚拟现实(VR)和....

发表于 05-25 15:21 49次阅读
高通计划发布一块针对独立虚拟现实(VR)和增强现实(AR)设备所打造的专用芯片

VR/AR和AI加持未来旅行 生活更精彩

AI和VR/AR技术正在改变旅游行业,让预订变得更加轻松、购物变得更加无缝、体验变得更加丰富。而未来....

的头像 VR小报 发表于 05-25 11:13 173次阅读
VR/AR和AI加持未来旅行 生活更精彩

微软HoloLens:智能手机已经死亡

在智能手机市场,无论是在硬件产品还是操作系统,微软遭遇了惨败,关闭业务被认为只是时间早晚的问题。微软....

发表于 05-25 02:04 22次阅读
微软HoloLens:智能手机已经死亡

全景新风向!能拍摄12K 360°视频的VR相机即将预售

提到专业级全景相机,大家对泰科易科技(TECHE)这个品牌一定不陌生。专注于VR智能拍摄硬件研发领域....

的头像 39度创意研究所 发表于 05-24 14:45 321次阅读
全景新风向!能拍摄12K 360°视频的VR相机即将预售

VR产业一度遇冷 5G技术突破带动下回暖

近日, Facebook旗下Oculus的VR设备Oculus Go正式发售,其32G版本售价仅为1....

发表于 05-24 11:23 27次阅读
VR产业一度遇冷 5G技术突破带动下回暖

全球分辨率最高的OLED-on-glass显示屏亮相

今天,谷歌的工程师CarlinVieri在Disaplay Week 上发表了名为“4.3英寸180....

发表于 05-24 09:51 119次阅读
全球分辨率最高的OLED-on-glass显示屏亮相

微软利用HoloLens布局混合现实 中国将会成为最大的市场

整体战略从“移动为先,云为先”转变为“智能云和智能边缘计算”一年后,微软日前交出了旗下混合现实硬件产....

发表于 05-24 08:46 21次阅读
微软利用HoloLens布局混合现实  中国将会成为最大的市场

VR能否形成类似智能手机的庞大市场存疑

2016年的虚拟现实和增强现实头盔市场,令人兴奋不起来,人们甚至怀疑,这一轮VR创业热潮是否会成为一....

发表于 05-24 02:45 25次阅读
VR能否形成类似智能手机的庞大市场存疑

腾讯下半年将推出VR头盔 或不久就能体验真实王者荣耀

据《金融时报》报道称,腾讯准备今年晚些时候推出VR头盔。腾讯的一个内部研发团队正在开发PC式VR头盔....

发表于 05-24 02:06 32次阅读
腾讯下半年将推出VR头盔 或不久就能体验真实王者荣耀

爱奇艺正式发布奇遇 II 代 VR 一体机 官方售价 3999 元

5月17日,爱奇艺召开发布会,正式发布奇遇 II 代 VR 一体机,官方售价 3999 元,首发价 ....

发表于 05-23 09:29 75次阅读
爱奇艺正式发布奇遇 II 代 VR 一体机 官方售价 3999 元

未来中美AR/VR博弈,中方已抢占先机 会成为胜利者

尽管美国可能在VR领域独占鳌头,但中国会主导更大的AR市场。所以,哪个国家赢得了AR全球市场,那么他....

的头像 全球技术地图 发表于 05-22 16:41 163次阅读
未来中美AR/VR博弈,中方已抢占先机 会成为胜利者

未来中美AR/VR博弈,中方已抢占先机 会成为胜利者

尽管美国可能在VR领域独占鳌头,但中国会主导更大的AR市场。所以,哪个国家赢得了AR全球市场,那么他....

的头像 全球技术地图 发表于 05-22 16:41 139次阅读
未来中美AR/VR博弈,中方已抢占先机 会成为胜利者

VR和AR的市场形势大好

虚拟现实技术是仿真技术的一个重要方向,是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术....

发表于 05-22 16:14 70次阅读
VR和AR的市场形势大好

国内智能硬件五大发展趋势

智能硬件是一个坑做这一行的几乎都有过类似的心声。 除了伪需求、不具有实用价值外,供应链掌控能力差也让....

发表于 05-22 15:54 286次阅读
国内智能硬件五大发展趋势

VR模拟让机器人开发成为“普惠工程”

NVIDIA 为来自包括加拿大、智利、日本、墨西哥和土耳其在内的六个国家和地区的 104 支 FIR....

的头像 英伟达NVIDIA企业解决方案 发表于 05-21 17:39 669次阅读
VR模拟让机器人开发成为“普惠工程”

未来的VR行业发展会怎么样 能否替代互联网

VR 技术的火热发展,互联网的大佬们都纷纷踏入了 VR 行业,创立了自己的产业生态链,扎克伯格 说虚....

发表于 05-21 16:45 372次阅读
未来的VR行业发展会怎么样 能否替代互联网

中国AR正起步,即将进入快车道

另外一点,像微软(中国)在中国方面,没有特别大力的进行HoloLens推广,我想是因为很快要出第二代....

的头像 VR陀螺 发表于 05-21 16:19 277次阅读
中国AR正起步,即将进入快车道

如何开发一款怎么飞都不晕的VR飞行游戏?

让人们产生晕眩的第一个原因就是视觉,当眼睛无法跟大脑的系统相协调时,用户看到和感知到的与大脑里感知的....

的头像 VR陀螺 发表于 05-21 16:15 239次阅读
如何开发一款怎么飞都不晕的VR飞行游戏?

VR产品是如何一步步走到今天的

即使最富质疑精神最冷静的人也无法漠视现在的 VR/AR 掀起的狂潮,这个从科技圈蔓延到实业界最后席卷....

的头像 39度创意研究所 发表于 05-21 16:11 559次阅读
VR产品是如何一步步走到今天的

VR体验馆的开设是一种怎样的状况?

IMAX( 巨幕电影 ) 为推动影院技术的发展,计划在全球的商场和剧院中开设六个 VR 体验场地,而....

的头像 39度创意研究所 发表于 05-21 16:05 431次阅读
VR体验馆的开设是一种怎样的状况?

利用VR技术重现犯罪现场 让你变身神探夏洛克

Jaunt VR 则想让大家跟披头士乐队进行互动,制作了名为《 PUREMcCartney VR 》....

的头像 39度创意研究所 发表于 05-21 15:55 693次阅读
利用VR技术重现犯罪现场 让你变身神探夏洛克

MR是什么?为什么说投资MR正当时?

混合现实(增强和虚拟现实)是继20世纪70年代的PC、20世纪90年代的网络、21世纪的移动平台后的....

的头像 VR陀螺 发表于 05-21 15:39 184次阅读
MR是什么?为什么说投资MR正当时?

R式家族的成员履历

近几年来,VR、AR已经走进了大众的视野,深受喜爱。科技达人们也是爱搞事情,AR、MR、VR、CR、....

的头像 中关村集成电路设计园 发表于 05-21 14:44 160次阅读
R式家族的成员履历

牵手华为荣耀玩自制内容 看优酷进军VR怎么玩儿

优酷 ” 在 “ 邓丽君 …… 都让人产生一种梦幻的感觉。这正是优酷为 10 年来,优酷第一次选在晚....

的头像 39度创意研究所 发表于 05-21 11:45 509次阅读
牵手华为荣耀玩自制内容  看优酷进军VR怎么玩儿

活用VR与IoT技术,助力产品设计、制造与维护

在这一展区我们再次见到了富士通可视化智能仪表盘解决方案,它能够通过IoT实现整体工厂可视化,准确把握....

的头像 富士通电子 发表于 05-21 09:42 685次阅读
活用VR与IoT技术,助力产品设计、制造与维护

Reality Portals欲实现现实世界和虚拟现实之间实时沟通

自2013年以来,独立的全球虚拟现实社区SVVR一直在孜孜不倦地为VR爱好者、开发人员、专业人士和创....

发表于 05-21 08:03 107次阅读
Reality Portals欲实现现实世界和虚拟现实之间实时沟通

Oculus将与ESL联手打造全新的虚拟现实联盟

League of Legends (LoL)是非常受欢迎的,随着越来越多的粉丝,和不断增长的奖金,....

发表于 05-21 07:58 187次阅读
Oculus将与ESL联手打造全新的虚拟现实联盟

无人机成长猛如虎 现已跨入无人机掌上时代

一直以来无人机是我们热衷的话题,据第三方机构Statista预测,全美2017年消费级无人机销售额将....

发表于 05-21 05:03 135次阅读
无人机成长猛如虎 现已跨入无人机掌上时代

360度全景相机解决方案_VR全景图像捕获传输播放解决方案出炉

智能和互连设备的信号处理IP授权许可厂商 CEVA及圆周率软件科技有限公司(PiSoft)今天宣布,....

的头像 39度创意研究所 发表于 05-20 10:04 332次阅读
360度全景相机解决方案_VR全景图像捕获传输播放解决方案出炉

详解VR虚拟现实技术,它是怎样让你沉浸其中的

自从计算机发明以来,计算机一直是传统信息处理环境的主体,它只具有在数字化的单维信息空间中处理问题的能....

的头像 传感器技术 发表于 05-20 09:57 876次阅读
详解VR虚拟现实技术,它是怎样让你沉浸其中的

虚拟现实寒冬到来 VR创业公司纷纷进入蛰伏模式

导语:美国科技博客VentureBeat近期刊文称,由于消费者需求不足,虚拟现实行业正在进入漫长的冬....

的头像 电子发烧友网工程师 发表于 05-20 09:26 320次阅读
虚拟现实寒冬到来 VR创业公司纷纷进入蛰伏模式

VR怎么应用到线下场景?它最好的场景到底是哪里?

在爱奇艺世界大会上,爱奇艺高级副总裁段有桥、HTC VIVE中国区总裁汪丛青、数字王国CEO张凌、艾....

的头像 VR小报 发表于 05-19 10:09 463次阅读
VR怎么应用到线下场景?它最好的场景到底是哪里?

深度学习能否运用到VR上?

随着谷歌人工智能AlphaGo与李世石的五局人机大战落下帷幕,阿法狗最终以4:1大比分战神李世石,人....

发表于 05-18 22:04 193次阅读
深度学习能否运用到VR上?

格如灵宣布完成了数千万元A轮融资,全面发力虚拟化教育市场

格如灵于2016年开始切入教育信息化赛道,主营业务为VR(虚拟现实)与AR(增强现实)应用与青少年教....

发表于 05-18 15:11 151次阅读
格如灵宣布完成了数千万元A轮融资,全面发力虚拟化教育市场

泰国旅游局尝试运用VR技术展现当地的文化及习俗,以吸引更多游客

VR体验第一部分介绍了的泰国传统武术——泰拳;第二部分详细介绍了泰国的纺织品和文化,展示如何用丝绸编....

发表于 05-18 14:14 296次阅读
泰国旅游局尝试运用VR技术展现当地的文化及习俗,以吸引更多游客

Oculus GO是一款在C端有希望的VR产品

如之前介绍,OculusGO的外观和小米VR的颜色不同,两款硬件的配置一致,只是颜色以及logo的位....

的头像 VR陀螺 发表于 05-18 09:07 208次阅读
Oculus GO是一款在C端有希望的VR产品

今天的VR还只是虚火,谈颠覆一切,为时尚早真相

今天的虚拟VR,给笔者的感受,正如两年前的可穿戴设备。同样是被寄予厚望,同样被认为是下一个流量入口,....

发表于 05-18 08:37 269次阅读
今天的VR还只是虚火,谈颠覆一切,为时尚早真相

第二届eSmart虚拟现实备受关注

虚拟现实作为一个朝阳行业,也引得国内外巨头纷纷涉足,各方巨头看好虚拟现实今后的发展前景,尤其看好虚拟....

发表于 05-18 08:16 134次阅读
第二届eSmart虚拟现实备受关注

VR+5G:虚拟现实身临其境

混合现实技术通过HoloLens眼镜和5G无线高速通道,可将虚拟的全息图像直接投射在任何物理位置和现....

的头像 爱立信中国 发表于 05-17 16:27 714次阅读
VR+5G:虚拟现实身临其境

Rovr——VR体感操作领域新宠

2012 年,当朱利安·威廉姆斯 (Julian Williams) 向人们展示他所设计开发的全新游....

的头像 39度创意研究所 发表于 05-17 13:15 268次阅读
Rovr——VR体感操作领域新宠

高考再次改革?“虚拟现实”或将应用高考

在一个人的生命中,除了出生,高考是第一个重大的人生转折点。成,则接下来的人生之路相对顺畅很多,败则意....

的头像 39度创意研究所 发表于 05-17 12:20 235次阅读
高考再次改革?“虚拟现实”或将应用高考

VR(虚拟现实)眼镜看恐怖片,你愿意试试吗?

VR( 虚拟现实 ) 眼镜看恐怖片,你愿意试试吗 ? VR 眼镜,她一下子冲到眼前,这让人怎么接受 ....

的头像 39度创意研究所 发表于 05-17 11:32 391次阅读
VR(虚拟现实)眼镜看恐怖片,你愿意试试吗?

暴风科技杀入体育产业 将以VR切入市场

根据各个国家的经验,当人均 5000 美金时,体育产业就会迎来井喷式的增长。 GDP 突破了 我们认....

的头像 39度创意研究所 发表于 05-17 11:12 461次阅读
暴风科技杀入体育产业 将以VR切入市场

北美首家VR剧院将在今年夏天降临多伦多

每位用户仅需20美元就可以拥有长达10到15分钟的虚拟现实体验。然而,要想参加位于登打士街(Dund....

的头像 39度创意研究所 发表于 05-17 10:06 182次阅读
北美首家VR剧院将在今年夏天降临多伦多

INTEL展示激动人心的VR、4K视频和游戏体验

在 VR 游戏,最强酷睿同时编辑 4K 视频,最新至强帮助解决视频云服务问题,连线纽约说演就演 ……....

的头像 39度创意研究所 发表于 05-17 09:22 350次阅读
INTEL展示激动人心的VR、4K视频和游戏体验

微软开放HoloLens背后的Windows10全息平台 可能是对VR最有利的事情

HoloLens 是微软公司最重要的新产品之一,但很快就不是唯一能够提供全息体验的产品了。 微软要向....

发表于 05-17 06:03 257次阅读
微软开放HoloLens背后的Windows10全息平台 可能是对VR最有利的事情