LED虚拟拍摄中的跟踪系统详解

在跟踪设备与其他三维渲染系统集成方面，根据跟踪数据使用的场景或阶段不同，可以将系统管线分为实时和后期两个阶段。在实时阶段，跟踪设备软件端可以通过插件与第三方DCC（Digital Content Creation，数字内容创作）软件或实时渲染引擎进行通信，将摄影机的外参（6DOF的位姿变换数据）以及镜头内参（焦点、焦距、镜头畸变等）参数实时地传输给引擎中的虚拟摄影机，最终渲染出位置、透视、视场等显示正确的画面；在后期阶段，经过前期跟踪数据的实时传输与录制，后期部门可以选择对跟踪数据进行清洗修正再利用，减少摄影机反求操作，可以极大地提高后期工作效率。
目前LED虚拟化制作技术从原理上可以看作是增强现实技术在影视行业的应用，该技术被广泛地应用于影视制作、大型演出直转播等泛娱乐行业，不同的应用场景对于跟踪系统提出了新的不同需求。由于LED显示屏幕的广泛参与，实时渲染的虚拟背景直接显示并且被摄影机同步记录下来，这使得虚拟场景与真实场景之间的坐标系匹配更为重要。动态画面和复杂闪烁的光环境变化也给跟踪技术带来了新的挑战。
对于跟踪系统而言最重要的系统属性是跟踪的精度、稳定性及鲁棒性。
在电影虚拟化制作发展的历史中，摄影机跟踪方式伴随着科技的发展、日渐更新的创作需求也在一步步发生变换，从最原始的机械跟踪，到体系庞大场地限制的由外向内跟踪，再到目前应用广泛的由内向外跟踪，这些技术的发展无一不是为影视创作提供更大的自由。但目前最广为人知的剧集《曼达洛人》等影片则回溯了技术发展历程，选择了曾经被虚拟化制作“淘汰”的由外向内跟踪技术OptiTrack动作捕捉系统。针对此现象，当前LED虚拟化制作技术对跟踪系统的需求，只有由外向内跟踪的设备更能满足。
除了精确度、稳定性与鲁棒性，实时性作为跟踪系统的另一重要性能也需要考虑，即跟踪系统数据实时处理及传输速度。这个在此处是指从摄影机产生运动到运动捕捉软件得到刚体的运动数据，再经过算法处理优化，传递到第三方DCC或实时渲染引擎的时间。LED虚拟化制作技术的核心概念是摄影机内视效拍摄,即摄影机直接拍摄得到真实画面与虚拟背景的合成结果。在LED屏上,我们使用相对固定的外视锥形成的光照环境，来模拟真实的光照与色彩匹配，使用内视锥作为摄影机直接拍摄的背景，内外视锥的渲染要分别单独进行。由于硬件计算能力的限制，从摄影机产生运动到对跟踪数据进行捕捉、解算、传输，再到引擎渲染生成画面，该过程还无法完全实时完成。运动速度较大时，前景内容与LED屏幕显示的画面内容将会产生漂移，人对前后景撕裂的变化非常敏感，因此在渲染端及信号传输端硬件限制的前提下，建议尽可能选择处理算法数据传输高效的摄影机跟踪系统。

审核编辑黄宇