XR虚拟演播厅的详细拍摄流程

XR虚拟演播厅的详细拍摄流程
在虚拟制作中，首先重要的是快速且精准的摄像机追踪系统，通过这套系统，我们可以以极低的延迟为代价，在虚拟系统中完整模拟真实摄像机的实时位姿和镜头参数，并将这些信息传递给渲染引擎，从而计算出正确的画面并回传。另一方面LED屏幕可以将大部分拍摄内容显示在背景上，通过目前的SpatialMapping，也就是我们说的动态的Perspectivemaping，能将画面以正确的透视关系呈现出来，并且和真实世界的人物和事物叠加在一起进行拍摄。
上面说的是一个MR的流程，此外还有AR层面的内容，即以同样的方式，叠加在整个画面的最前层，从而实现“现实层”，也就是刚才提到的真实人物和事物，同时叠加LED，也就是MR中的“后景”，以及AR中的“前景”的效果。并组合成完整的画面。
XR虚拟拍摄这个流程是这样理解的，以一帧画面的生成为例，流程如下：
01、摄像机追踪：把摄像机的各个参数回传到disguise系统内，再传输到UE、Unity、Notch等引擎当中。
02、渲染引擎渲染：引擎收到摄像机数据后，在场景内模拟出相机的状态，并根据这个状态，渲染出摄像机拍摄的一帧画面并回传disguise系统。
03、disguise系统收到这一帧画面以后，由于内部已经有了LED的精准模型，会根据摄像机的透视关系，把画面拆成“MR”和“SetExtension”两部分。并把MR的部分输出给LED。
04、LED显示出这一帧画面之后，连同屏幕区域内的人物和事物，真实的摄像机会拍摄这一帧画面，并把拍摄的一帧发送回disguise系统。
05、Disguise系统收到了拍摄的这一帧，再把刚才拆分画面剩下的“SetExtension”贴回画面。形成一整帧16：9的画面。同时再在上面贴合AR画面，并最终输出。
06、这一整帧画面终于呈现在团队和观众眼前。

审核编辑 黄昊宇