xR的概念、原理与前景分析

自1933年电影《金刚》应用“邓宁蓝幕技术”到今天，绿幕抠像+后期制作是现下绝对主流的特效视频拍摄方式。
人们可以将演员或实物，放置在任何剧情需要的奇幻炫酷场景中。
从《阿凡达》瑰丽奇异的潘多拉星球，到《流浪地球》的冰封北京城，从虚拟演播室里的卫星云图展示，到2021年央视春晚中刘德华和现场演员的同台互动。
均采用了绿幕抠像+三维场景渲染技术！
但是时至今日，这项技术仍有一些无法规避的问题。
比如无实物表演，演员需要在纯粹的绿箱环境中依托想象力进行表演。
再比如光线问题，怎样让绿箱中的演员/物体呈现出真实的周边光线反射效果？尤其是金属、珠宝、汽车这类带有镜面材质的物体？
毕竟光线修复一向是影视后期人员工作内容的重要组成部分。
而此时，扩展现实（Extended Reality，简称xR）技术正日趋成熟，并频繁亮相在公众眼前。
一/是什么——xR定义
xR词汇的提出，可以追溯到CO Allen于2014年的申请的一份专利《Method for creation ofaugmented reality medium i.e. extended reality medium, involves detectingaugmented reality contents based on determination that reality data correspondsto given acquisition event data》，文中将xR作为AR的别称进行使用，约2年后，一些国际媒体服务器厂家开始在市场中尝试推广xR的概念。 xR到底是什么？众说纷纭。但为了方便继续讲述，我们在此先对xR做一个定义，xR（ExtendedReality）即通过摄像机追踪与实时图像渲染技术，使显示介质（LED/投影碗幕）及显示介质外的虚拟场景实时跟踪摄像机视角，在摄像机镜头前与现实拍摄画面合成，从而营造出无限空间感的技术。
不好理解？没关系，下面会进一步解释。
对于xR是VR、AR、MR等多种技术统称及其他说法，在此不作讨论。
二/为什么——xR原理
想要了解xR原理，我们需要先理解透视。
因为xR技术贯通虚拟与现实的桥梁，正是建立在透视的基础之上。
那些把人物P在一个个旅游景点前的合成照片，有的能“以假乱真”，有的却能一眼看出“作假”。为什么？
虚假的原因千奇百怪，真实的条件千篇一律。
条件之一是它们必须具备正确的透视关系。
透视学，在平面上再现空间感、立体感的方法及相关的科学。
为了满足透视这一自然科学原理，如果想要制作一张以假乱真的合成照片，照片上的所有物体都必须在空间中拥有统一的透视点。
简单讲，如果照片中的背景是采用俯视的角度拍摄的，那么需要合成的那个人，绝不能采用Ta仰视下的形象。
这是在二维平面上，混淆虚拟与现实的做法。
那么在三维空间中呢？
如果要合成一段视频，我希望演员身处室内，然而在镜头下其身后却是一整片森林，除了利用绿幕，还有什么方法？
如果摄像机镜头固定且位置合适，甚至可以在演员身后直接挂一面巨幅的森林图案画布，只要演员和背景平面都在镜头下呈现出正确的透视关系，就能满足一些最初级的需求。
与那些合成照片一样。
但镜头一旦移动，背景森林实为平面画布的事实便无论如何也无法遮掩。
实际上，场景背景的真实感，正是在镜头移动的过程中得到塑造并增强的。在镜头推拉摇移的每一帧，如俯瞰时的大全景、跟拍时的中景——演员的身后都应当呈现出一个在这个位置、这个角度，满足真实透视关系的背景场景。
如果当摄像机旋转或改变角度时，演员身后的背景也能契合摄像机镜头同步完成角度的改变，就好了。
这个技术，就是xR技术。
三/怎么做——实现xR
我们以一款国内自主研发的媒体服务器——hecoos虚拟制作服务器为例，其完成一场xR项目需要的基本配置有：一套hecoos虚拟制作系统、一套摄像机追踪系统、一套实时渲染引擎、LED屏/投影碗幕。
实现xR技术的流程可分为5个环节：
1、摄像机追踪系统将真实摄像机的实时运动位置、姿态及镜头参数（x、y、z、pan、tilt、roll、FOV......）传输到hecoos虚拟制作服务器。
2、hecoos虚拟制作服务器对摄像机信息进行实时解析与处理，驱动实时渲染引擎渲染该视点所需的虚拟画面。
3、hecoos虚拟制作服务器接收虚拟画面并通过透视投射将渲染的虚拟画面输出至背景LED屏/投影碗幕，由摄像机完成最终采集。
4、将LED屏/投影碗幕外拓展空间中的虚拟内容叠加在镜头前，采用自动校色功能对所有虚拟画面分别进行颜色校正，达到背景画面颜色统一。
5、镜头合成后，即为观众在镜头前看到的最终影像——无论镜头如何移动，演员始终身处在符合正确透视关系的一整片广袤森林前。
四/“R”词汇的区别与联系
VR（Virtual Reality） 头显
xR（Extended Reality） 摄像机
AR（Augmented Reality） 头显/摄像机
MR（Mixed Reality） 头显
观看VR内容必须借助头显，而所观看内容全部为虚拟内容，缺乏与现实环境的互动。
xR所用的摄像机起到与头显相同的作用，但其摄像机视角也可以拍摄到真实环境下的客观物体。如果从这个角度来看，为了便于理解，我们可以简单地将xR类比为摄像机视角下的VR。
AR技术需要借助头显或摄像设备，才能使人们看到叠加在现实环境上的虚拟物体。如节目现场的观众，在不借助设备的情况下，其实无法看到节目中的AR特效。
而MR技术的解释稍微复杂一点，MR头显实时采集实际场景画面并将其与虚拟效果相结合。从技术上来说，MR头显混合了VR头显的虚拟制作技术和AR头显的实景采集技术；而从体验上来说，MR头显混合了VR头显的超高表现能力和AR头显的真实互动体验。
此为“混合现实”——Mixed Reality。
五/xR VS 绿幕
xR能否取代绿幕一直是个热点话题。

相较绿幕，xR有一些明显优势：
1、xR实时呈现的背景为演员提供临场感，能够让缺乏无实物表演经验的人们直观了解当下处境，掌握自身走位。
2、xR使演员表演与表演环境相结合的效果及时呈现，并且更方便创作团队及时修改创作想法。
3、xR能够节省掉影视制作过程中许多花费在光线修复上的时间和金钱。
但是xR技术本身同样具有局限，如果是基于LED屏幕方案实现的xR技术，那么站在LED屏上的演员脚下将没有影子，这是xR技术的一个较大遗憾。
xR技术诞生至今约5年时间，与之相关的软硬件设备尚有巨大的可优化空间，而绿幕拍摄在从1933年至今的近90年中已经发展到了非常成熟的地步，因此在某些情况下使用绿幕能够实现更为理想的效果。
我们所见到的使用xR技术制作的舞台节目，如果是录播播出，其中部分节目还会采用后期做进一步的修饰加工。
所以，作为当下新兴前沿科技的xR技术，想要实现对传统绿幕技术的“弯道超车”，还需进一步发展自身。
有些问题是不确定的，比如随着xR技术的飞速兴起，今后的文旅演艺活动市场将呈现出怎样的格局？
比如随着计算机运算处理能力的提升和产业链设备的不断优化，虚拟制作技术能否成为人们未来日常生活中不可或缺的一部分？
比如人类始祖曾经抬头长久凝望一片浩瀚璀璨的星空，如今我们距离那片星空又还有多远?
而能够确定的却是，不用太久，在技术的快速迭代和需求创新的内在驱动下，方兴未艾的xR技术定将迎来属于自己的一片广阔天地。

审核编辑黄宇