【四旋翼飞行器】76小时吃透四轴算法!史上最强软硬结合实战项目,👉戳此立抢👈

VR和MR技术的提升助于更完整的实景应用情境

两个质子 2018-01-31 11:44 次阅读

近年来VR虚拟实境与MR扩增实境的应用越来越受到重视,连智慧型手机在内的行动装置,也能搭配简易型头戴式支架,作为VR、MR显示器使用,不过由于行动装置效能低落的先天缺陷,让使用者体验受到影响,于是Google研发了能够牺牲些微画质却大幅提升效能的演算法,来解决这个问题。

行动装置无法负荷运算需求

由于VR虚拟实境与MR扩增实等技术,会透过3D绘图的方式建构场景,让使用者走入完整的虚拟场景,或将部分虚拟场景融入到真实世界,如果想要提升VR或MR画面的逼真度的话,势必需要增加3D绘图的细腻度,进而增加对3D绘图的效能需求。

为了要带来充沛的3D绘图效能,往往需要仰赖强悍的显示卡或显示晶片,这对于桌上型电脑或笔记型电脑还算是可以解决的问题,但是在智慧型手机或平板电脑等行动装置上,无论是显示晶片晶片的尺寸、发热量或是耗电量,都是无解的难题。

然而山不转路转,为了让行动装置也能提供较佳的VR、MR体验,Google着手研发特殊的演算法,能够将运算资源集中投注在画面中人眼比较敏锐的区域,让该区域维持一定的画质,并降低其他区域的画质表现,如此一来就能在有限的运算资源中,提升FPS效能表现,进而带来更出色的视觉感受。

VR_MR技术的提升助于更完整的应用情境

▲虽然Google Cardboard等简易型头戴式支架,能让智慧型手机作为VR、MR显示器使用,但是绘图效能始终是最大的问题之一。

省略人眼不敏感的部分

为了改善VR、MR的视觉体验,Google的研发团队针对人类视觉感官的特性,研发了对应的演算法,能在低运算需求与低耗电的前题下,依然能够兼顾从内容产制开始,一直到3D绘图、资料传输、处理延迟、与真实物件互动等环节,提供出色视觉体验。

在人类的视觉系统中,视网膜正中凹(Fovea Centralis)的功能能让我们将视野正中央区域看得很清楚,并能降低大脑对于周围视野区域的专注力,也就是说人类对于位在视野中央的物件有较外围区域高的辨识能力。视网膜正中凹渲染(Foveated Rendering)就是利用这种视觉特性,藉由降低外围区域绘制的解析度,来提升整体效能表现。

为了要达到这个目的,系统需要透过眼球追踪功能,锁定使用者的目光,以便推算出视觉的高敏锐(High Acuity)区域,让该区域的画面一直保持在高解析度状态。反过来说,如果搭配视网膜正中凹渲染的系统不具备眼球追踪功能,就需要绘制较大的高敏锐区域,来确保视觉体验。

在传统的视网膜正中凹渲染绘图技术中,大多将画格缓冲区(Frame Buffer)的整个画面切割为多个小区块,然而在使用者转动头部,或是画面中景色产生移动时,属于低敏锐(Low Acuity)区域的部分在拼合的过程就会产生混叠(Aliasing)瑕疵,进而影响视觉感受。

VR_MR技术的提升助于更完整的应用情境

▲视网膜正中凹(图中标示Fovea的部分)能让人类聚焦于视野中央。

VR_MR技术的提升助于更完整的应用情境

▲左半部为一般绘图方式,整个画面皆为相同解析度,右半部为视网膜正中凹渲染,只有黄色框内为正常解析度,周围则为较低的解析度。(图片来源:Google,下同)

VR_MR技术的提升助于更完整的应用情境

▲左半部为一般绘图方式,右半部为传统视网膜正中凹渲染,画面移动时比较不滑顺。(点此处观看GIF动态图档,档案大小约8.3MB)

解决拼合瑕疵

混叠瑕疵会造成画面移动时闪烁或抖动的情况,即便它产生在周围区域上,使用者还是能够轻易查觉到这类瑕疵,所以研发团队提出2种最佳化方式降低混叠瑕疵。

在相位排列渲染(Phase-Aligned Rendering)方式中,系统会强制将低敏锐区域与虚拟空间贴齐,而不是跟着使用者的头部转动,如此一来当使用者改变视角的时候,就比较不易察觉混叠瑕疵,让低敏锐区域在升频并投影至显示器时,能够发挥补偿头部转动的效果,降低画面抖动的情况。至于高敏锐区域则是采用传统的绘制方式,并覆盖到画面的中央区域。然而这种方式的缺点就是,系统需要绘制更大放范围的图像(包含视野外的部分),造成能够节省的运算资源比较有限。

另一种方式则称为保角渲染(Conformal Rendering),系统会根据使用者视点与物件之间的距离,动态调整绘图的解析度,越远的物件解析度越低(看起来也较模糊)。这样的好处在于视觉感受与人类的经验法则相近,而且画面内高、低敏锐区域的界线不会那么明显,而且只需1次绘图流程即可完成画面绘制,能比相位排列渲染节省更多运算资源,但其缺点就是在画面边缘的抖动会比较明显

VR_MR技术的提升助于更完整的应用情境

▲相位排列渲染能够有效降低画面抖动状况。(点此处观看GIF动态图档,档案大小约8.5MB)

VR_MR技术的提升助于更完整的应用情境

▲保角渲染则有助于节省更多运算资源。(点此处观看GIF动态图档,档案大小约8.4MB)

头戴式显示器也有玄机

如果希望在传输影响的过程中节省频宽,就能将画面中人眼最敏感的部分以较高的资料流量传输,并将低其他区域的流量,如此一来就能省下一些频宽。

另一方面,在一般情况下,头戴式显示器接收到画面之后,还需要经过校正透镜造成的变型等处理步骤,然而透过视网膜正中凹渲染产生的画面,也可以依照高、低敏锐区域的不同,分别施以不同精准度的处理手续,例如在升频之前先进行校正,就能省下不少运算资源。

VR_MR技术的提升助于更完整的应用情境

▲将画面依为人眼的敏感程度拆分为不同区块,并分配不同的流量,就可以将传输频宽花在刀口上。

VR_MR技术的提升助于更完整的应用情境

▲以不同的精准度处理画面中的各区域,也能省下运算资源。

研发团队表示他们在这种演算法中,考虑了许多对绘图、处理、传输造成的影响,并希望有助于下一代轻量、省电、高解析度的VR、MR产品发展,并能在近期带来更完整的应用情境。

原文标题:行动装置跑不动VR 、 MR 怎么办?Google:偷工减料就好了

文章出处:【微信号:lianggezhizi,微信公众号:两个质子】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

为了满足玩家随时随地玩VR游戏 索泰推出旗下首款背包电脑VR GO

两年前,为了满足玩家随时随地玩VR游戏,厂商们做出了一个有创意的产品,统称为背包电脑。包括有索泰、微....
发表于 01-16 16:15 17次 阅读
为了满足玩家随时随地玩VR游戏 索泰推出旗下首款背包电脑VR GO

5G技术将改变这些行业,你觉得哪个比较有前景?

我作为一个理科男对于5G技术是非常盼望的,我的脑海中也总是会想到未来的社会高度发达后的样子,我认为社....
发表于 01-16 16:07 58次 阅读
5G技术将改变这些行业,你觉得哪个比较有前景?

伊万卡体验了一把沃尔玛超市的VR培训技术

VR是一种虚拟现实技术,可以通过计算机模拟出一种真实的场景,并通过VR眼镜,让人融入到虚拟环境中去。....
发表于 01-16 10:59 26次 阅读
伊万卡体验了一把沃尔玛超市的VR培训技术

VR产业发展首要突破关键核心技术 大力建设公共服务平台

虚拟现实是新一代信息技术的重要前沿方向,融合了多媒体、传感器、新型显示、互联网和人工智能等多个领域的....
发表于 01-16 10:55 27次 阅读
VR产业发展首要突破关键核心技术 大力建设公共服务平台

强生面向外科医生和护士发布VR培训系统 计划未来纳入更多的医疗课程

强生集团旗下的强生医疗专业教育学院(Johnson & Johnson Institute)在201....
发表于 01-16 10:48 32次 阅读
强生面向外科医生和护士发布VR培训系统 计划未来纳入更多的医疗课程

秦皇岛鸟类博物馆利用VR技术让游客体验与鸟同行

“只要把这只鸟的身体形状拼对了,它就能在屏幕上飞起来啦。”1月13日,秦皇岛鸟类博物馆鸟类生境展区一....
发表于 01-16 10:42 18次 阅读
秦皇岛鸟类博物馆利用VR技术让游客体验与鸟同行

虚拟现实技术与新闻产业交叉融合后对传统新闻价值的影响详解

互联网数字技术的发展已然成为传媒发展的主要动力,以数字化为特征的新兴传播技术与平台的推广普及不断扩充....
发表于 01-15 11:35 300次 阅读
虚拟现实技术与新闻产业交叉融合后对传统新闻价值的影响详解

Antilatency推出针对Oculus Go的VR外设 使其能够提供6DoF追踪

在CES 2019上,Antilatency展示了其针对Oculus Go的外设,该设备能够将Ocu....
发表于 01-15 10:38 40次 阅读
Antilatency推出针对Oculus Go的VR外设 使其能够提供6DoF追踪

“VR/AR科普进校园”系列活动走进校园 全面为学生科普VR/AR知识

1月14日,南昌虚拟现实VR产业基地——VR/AR科技馆“VR/AR科普进校园”系列活动启动,首站走....
发表于 01-15 10:30 147次 阅读
“VR/AR科普进校园”系列活动走进校园 全面为学生科普VR/AR知识

VR助力400万儿童 让他们清晰看见这个世界

2019年1月12——22日,中华少年儿童慈善救助基金会联合腾讯公益的平台支持在上海静安大融城下沉式....
发表于 01-15 10:25 23次 阅读
VR助力400万儿童 让他们清晰看见这个世界

2019年或将成为VR史上重要的一年 Facebook和HTC旗下三款新产品入局

当Facebook在2018年秋季发布Oculus Quest VR一体机时,阐述了他们如何看待虚拟....
发表于 01-15 10:20 51次 阅读
2019年或将成为VR史上重要的一年 Facebook和HTC旗下三款新产品入局

TOMTOM在CES2019上使用VR展示了导航所带来的效果

美国时间1月8日-11日,全球最大消费电子展CES2019在拉斯维加斯召开。展会上,导航软件公司TO....
发表于 01-15 10:00 20次 阅读
TOMTOM在CES2019上使用VR展示了导航所带来的效果

丰田汽车利用VR技术向大家展示了未来无人车中的娱乐生活

美国时间1月8日-10日,全球最大的消费电子展CES 2019正式举行,在展会中,日本丰田(TOYO....
发表于 01-15 09:53 21次 阅读
丰田汽车利用VR技术向大家展示了未来无人车中的娱乐生活

奥迪携手迪士尼共创VR新体验游戏

奥迪发行了“Holoride”体验,可以让用户在车内玩漫威和迪士尼制作的VR游戏。目前,奥迪已公开了....
的头像 机器人技术与应用 发表于 01-14 16:12 142次 阅读
奥迪携手迪士尼共创VR新体验游戏

唐山抗震纪念馆融入VR互动体验 以全新面貌对公众免费开放

经过一年的调整改造,唐山抗震纪念馆近日以全新面貌对公众免费开放。这次改造最大的亮点是将高科技融入了展....
发表于 01-14 16:12 68次 阅读
唐山抗震纪念馆融入VR互动体验 以全新面貌对公众免费开放

马来西亚华人博物馆利用AR、VR技术 让参观者深入体验华人在海外的生活

“我们绝非文物或文字、图片的简单陈列”,华人博物馆执行主任林家豪告诉记者,博物馆希望能充分运用各种多....
发表于 01-14 10:32 64次 阅读
马来西亚华人博物馆利用AR、VR技术 让参观者深入体验华人在海外的生活

瑞安AR/VR产业联盟成立 推动中国AR与VR产业的良性健康发展

1月12日下午,在2019中国(瑞安)虚拟现实产业发展论坛上,中国(瑞安)AR/VR产业联盟成立,并....
发表于 01-14 10:23 58次 阅读
瑞安AR/VR产业联盟成立 推动中国AR与VR产业的良性健康发展

人工智能,物联网,5G助力企业合作转型

人工智能(AI)、物联网(IoT)、5G、混合实境(MR)等全新技术,都被认为能改变制造业,甚至改变....
的头像 人间烟火123 发表于 01-13 11:26 698次 阅读
人工智能,物联网,5G助力企业合作转型

VR未来的市场将比AR大1000倍

其中, Marc Andreessen表示,人们对于音频的的需求正在急剧增加,并且音频有着极高的重要....
发表于 01-13 10:12 31次 阅读
VR未来的市场将比AR大1000倍

5G时代到来,哪些行业将迎来爆炸性发展?

2019年将是5G商用关键年份,各界积极开启冲刺模式,在一年一度的拉斯维加斯消费电子展(CES),5....
的头像 传感物联网 发表于 01-12 11:32 866次 阅读
5G时代到来,哪些行业将迎来爆炸性发展?

HTC VIVE推出一大批AR与VR硬件设备

CES 2019,HTC VIVE推出全新硬件设备、软件服务以及内容产品。同时,HTC 全球VR应用....
发表于 01-12 08:33 149次 阅读
HTC VIVE推出一大批AR与VR硬件设备

耐德佳在CES 2019上推出了小巧便携的AR头戴显示伴侣WatchAR

2019年1月9日,CES开展第一天,耐德佳携多款AR光学模组及AR头戴显示产品亮相LVCC展馆AR....
发表于 01-11 11:38 291次 阅读
耐德佳在CES 2019上推出了小巧便携的AR头戴显示伴侣WatchAR

2019CES上Oculus宣布 Oculus Rift套装将永久降价至350美元

继“黑五”促销后,Oculus Rift &Touch的价格从400美元降至350美元。今年的CES....
发表于 01-11 11:10 129次 阅读
2019CES上Oculus宣布 Oculus Rift套装将永久降价至350美元

NordicTrack即将推出的VR健身车搭配Vive Focus的Demo体验

为了展示新产品Vive Pro Eye和不久前面向全球发售的Vive Focus一体机,HTC Vi....
发表于 01-11 11:05 96次 阅读
NordicTrack即将推出的VR健身车搭配Vive Focus的Demo体验

MixCast在CES2019上展示了VR串流平台 可在线下体验店供游客使用

在今年CES的展位上,展示了VR串流平台MixCast的新功能MixCast Moments。据悉,....
发表于 01-11 11:00 90次 阅读
MixCast在CES2019上展示了VR串流平台 可在线下体验店供游客使用

VR全景数字校史馆是长安校区校史馆实景的数字化呈现

为加强校史文化宣传,拓展校史教育平台,更好地服务广大师生校友,2018年党委宣传部启动西北工业大学数....
发表于 01-11 10:51 52次 阅读
VR全景数字校史馆是长安校区校史馆实景的数字化呈现

AR/VR未来有很大的发展空间 HTC的旗舰产品将跟着5G走

HTC董事长王雪红在CES2019上接受采访时表示,AR、VR才刚起步,有很大的发展空间,再加上AI....
发表于 01-11 10:48 159次 阅读
AR/VR未来有很大的发展空间 HTC的旗舰产品将跟着5G走

RealMax乾是一款超大视场角的AR一体机 能带给参观者极致的沉浸式体验

2019年1月8日,新一年的CES国际消费电子展在美国拉斯维加斯拉开序幕,据悉,2019年CES为期....
发表于 01-11 10:43 221次 阅读
RealMax乾是一款超大视场角的AR一体机 能带给参观者极致的沉浸式体验

我国VR新闻发展仍处于初级阶段 但未来前景可观

麦克卢汉有一句经典名言:“媒介是人体的延伸。”当一种新的媒介出现,必然会带来信息传播方式及传播理念的....
发表于 01-11 10:38 355次 阅读
我国VR新闻发展仍处于初级阶段 但未来前景可观

国内的VR产业逐渐转向应用级开发

近日接触的云舞科技作为国内较早的一批VR企业,建立了全球较大的自有版权VR内容资源库,并为全球70多....
发表于 01-10 14:16 92次 阅读
国内的VR产业逐渐转向应用级开发

苹果计划研发一款能够同时支持AR和VR技术的头显

苹果CEO库克对增强现实(AR)赞誉有加,称其是一项和iPhone一样重要的技术。事实证明,他对虚拟....
发表于 01-10 14:11 104次 阅读
苹果计划研发一款能够同时支持AR和VR技术的头显

AWS发布一款名为Sumerian的新产品 让企业主能轻松开发VR/AR应用

去年11月,AWS发布了一款名为Sumerian的新产品,一款让开发者开发混合现实(即AR、VR和3....
发表于 01-10 14:07 27次 阅读
AWS发布一款名为Sumerian的新产品 让企业主能轻松开发VR/AR应用

VR真正能够走向真正走向C端 整个行业才能活起来

只要戴上VR设备,就可以进入与现实形成强烈反差的虚拟世界,在虚拟世界里可以实现理想化的空间构造,结交....
发表于 01-10 14:02 45次 阅读
VR真正能够走向真正走向C端 整个行业才能活起来

300块10分钟的VR体验如何?

我们提前一天预定了The Void的票,内华达州店共有4个体验可选,《RALPH BREAKS VR....
的头像 VR陀螺 发表于 01-10 10:20 348次 阅读
300块10分钟的VR体验如何?

5G开启一种全新的教学模式将给教育领域带来颠覆式的变革

当前的教学模式追求个性化、智能化,老师通过智能技术可以了解到每个学生的情况,并制定相应的培养方案,学....
发表于 01-10 09:56 176次 阅读
5G开启一种全新的教学模式将给教育领域带来颠覆式的变革

回顾VR过去的五年发展并展望VR未来的五年发展

假设我们现在的片源观影需求是2K高清,而1080P、720P在8年前开始流行,480P在12年前开始....
的头像 AR工业应用 发表于 01-09 16:56 1142次 阅读
回顾VR过去的五年发展并展望VR未来的五年发展

FlyView将开放独一无二的虚拟现实景点 让游客可以飞到巴黎上空

FlyView将开放独一无二的虚拟现实 (VR) 景点,让游客可以飞到巴黎上空,360度全景游览这座....
发表于 01-09 16:12 164次 阅读
FlyView将开放独一无二的虚拟现实景点 让游客可以飞到巴黎上空

VR的发展史

1935年小说家Stanley Weinbaum在小说中描述了一款VR眼镜,以眼镜为基础,包括视觉,....
的头像 发烧友学院 发表于 01-09 15:55 289次 阅读
VR的发展史

VR已经越发普遍 部分原因是它融入了文化领域

VR头显Oculus Rift的第一个消费者版本于2016年春天发布。那时已经有人将这项技术用于工业....
发表于 01-09 11:08 36次 阅读
VR已经越发普遍 部分原因是它融入了文化领域

全球率先采用MFT传感器的8目VR摄影机Titan开启全球预售

今日,全景相机品牌Insta360宣布其11K电影级VR摄影机Titan在全球范围内开启预售。Tit....
发表于 01-08 14:59 334次 阅读
全球率先采用MFT传感器的8目VR摄影机Titan开启全球预售

ThirdEye发布最新的X2混合现实智能眼镜

MR智能眼镜与软件开发商ThirdEye Gen在CES 2019大会发布了最新的X2 Smart ....
发表于 01-08 14:56 94次 阅读
ThirdEye发布最新的X2混合现实智能眼镜

奥迪e-tron利用VR眼镜让消费者更好的体验到汽车娱乐系统Holoride

日前,外媒slashgear记者感受了一把奥迪最新电动汽车e-tron的乘坐体验。在整个过程中,记者....
发表于 01-08 14:52 407次 阅读
奥迪e-tron利用VR眼镜让消费者更好的体验到汽车娱乐系统Holoride

日产汽车将在CES上展示其VR头显概念 以呈现自动驾驶驾驶体验

I2V技术利用来自汽车内外的传感器和摄像头的信息,再加上存储在云端的数据,展示了一个“混合现实”世界....
发表于 01-08 14:48 78次 阅读
日产汽车将在CES上展示其VR头显概念 以呈现自动驾驶驾驶体验

HTC Vive推出全新的VR设备 主打简便、舒适和易于使用

在CES 2019上,HTC Vive 展示了全新的VR设备Vive Cosmos,主打简便、舒适和....
发表于 01-08 14:46 44次 阅读
HTC Vive推出全新的VR设备 主打简便、舒适和易于使用

湖南邵东医生用MR+3D打印技术 为患者重建腕关节

湖南邵东县的周某大约1年半前,她的前臂无故出现酸痛感,随着时间的推移症状加剧,尤其在夜间更明显。20....
发表于 01-08 14:43 123次 阅读
湖南邵东医生用MR+3D打印技术 为患者重建腕关节

3D Rudder推出PSVR专用的脚部运动控制器

开发出给坐着玩的 VR 设备补回「行走体验」配件的 3D Rudder,在 CES 2019 的展场....
发表于 01-08 14:41 54次 阅读
3D Rudder推出PSVR专用的脚部运动控制器

Verizon利用虚拟现实体验来培训团队成员应对突发劫持事件

威瑞森(Verizon)在全美拥有1600家门店,店内充斥着最热门的智能手机技术,它知道自己的商业网....
发表于 01-08 14:35 31次 阅读
Verizon利用虚拟现实体验来培训团队成员应对突发劫持事件

索泰推出的VR电脑被在身上的设计 能够让VR体验更加沉浸

CES作为全球各大电子产品企业发布产品信息和展示高科技水平及倡导未来生活方式的窗口,各大厂商都会在此....
发表于 01-08 14:32 92次 阅读
索泰推出的VR电脑被在身上的设计 能够让VR体验更加沉浸

VR市场规模比AR大一千倍 但在VR中创建的新环境会更有趣

硅谷著名风险投资公司A16Z的创始人马克·安德森(Marc Andreessen)在其新播客中谈及科....
发表于 01-08 14:29 54次 阅读
VR市场规模比AR大一千倍 但在VR中创建的新环境会更有趣