沉浸式混合现实的MR天气预报是如何实现的

这是一件关系到我们所有人的事情：讨论天气。近年来，在这方面可供讨论的话题似乎越来越多了，既有猛烈的飓风和创记录的高温，也有引发洪水的大雨和肆虐的山火。

The Weather Channel电视网为美国观众提供专业的天气预报和分析已有近40年之久。最近这家公司希望找到吸引和教育观众的新方式，它在2018年与The Future Group共同创作了关于闪电和龙卷风的沉浸式混合现实特别节目，当年晚些时候又制作了关于风暴潮和山火的节目。

这些一次性播出的节目具有极强的沉浸感，因此吸引了新闻界的大量报道，而它们让观众真切理解危险天气的作用也广受好评——其中一档节目甚至赢得了艾美奖。但是，它们都要花费大量时间来策划和编排，而且虽然运用了虚幻引擎提供的实时渲染功能，却不能实时播出：它们都是在播出前几个小时录制的，还要经过后期剪辑。

如果The Weather Channel能把沉浸式混合现实（IMR）放进他们每天的预报中，又会怎样？以此为目标，在2020年6月2日，这家电视台首次推出了新的IMR天气演播室。

新的演播室扩展了实体空间，使得演播室一半是实体的，另一半是虚拟的，主持人能够在这两部分之间无缝地移动。虚拟部分的边界有一块玻璃幕墙，它可以降下来，让主持人走进幕墙后面显示的虚拟环境，从而使他们能展示“外面”的天气，乃至走进相应的空间。

虚拟环境会发生改变来反映主题，例如，如果飓风临近就会变成海滨，如果主题是面向滑雪者的雪情预报就会变成山地。为了让演播室中显示这些环境，有一个团队负责从遍及全国的50个关键地点拍摄HDR影像。

“这种工具有不可思议的价值，它帮助我们强化了讲故事的能力。”The Weather Channel的天气演示总监Mike Chesterfield说，“大家非常欣赏这些内容——他们会感到自己身临其境，因为这真是太逼真了。”

这个演播室还利用实时天气数据驱动3D图表和条形图，甚至能在虚拟城市上展示一系列动画3D混合现实天气元素——雨、云、太阳、闪电等——来播出七天预报。用户只要点击一个按钮就能调出一个100英尺的显示屏，或者借助一个巨大的3D虚拟地球，真正展示全球范围的天气系统。

“这是我第一次在美国的信息网络中看到真正实用的全日制虚拟演播室投入使用。”Chesterfield说，“我们正在做全新的天气预报工作，而且都是实况直播。”

幕后揭秘：技术考察

这家电视台负责将各种实时元素集成到虚拟环境中的资深技术美术Warren Drones解释了这一切是如何实现的。

在这个演播室的流程中，有一套使用摄像机和绿幕布景的传统广播设置，而与它同时运行的是Zero Density的Reality Engine和Reality Keyer，前者是一种基于虚幻引擎的实时广播合成系统，后者被Zero Density称为全世界第一种也是仅有的一种在GPU上工作的基于图像的实时抠像器。色度抠像是对整个背景假设一种颜色值，而基于图像的抠像是将拍摄的视频与空背景对比，从而能够保留微妙的透明度细节和阴影。

为了给移动的摄像机创建空背景，Reality Keyer提供了创建绿幕大风景画幕背景的虚拟版本的功能，将拍摄的实体绿幕布景的影像映射到这个数字化副本上。然后将来自摄像机的跟踪数据（这家电视台使用Mo－Sys系统）输入这个节点中，使系统能够为每一帧画面创建空背景。

虚拟演播室的静态元素主要是根据先前的实体演播室绘制的；事实上，团队扫描了各种实体素材以确保完美吻合。道具在3ds Max中创建，并通过FBX导入虚幻引擎中。对于环境元素，团队使用大型的高质量2D库和3D Quixel Megascans，后者现已能够在虚幻引擎中免费使用。

视觉特效美术师在虚幻引擎的Niagara视觉特效系统？中创建雨、雪、火、水等效果。动画由Sequencer多轨道非线性编辑器驱动。通过API导入的实时天气数据用于驱动3D图表，甚至能使环境中降雨或太阳被云遮挡。

团队广泛使用了蓝图可视化脚本系统来编写行为、脚本逻辑和触发器事件。例如，在导演的指示下可以一键重新配置整个布景——而且实时播出。导演们还可以更改光照，切换到不同的馈送源，转到新的机位等，这些操作都是实时进行的。

据Drones说，实时虚拟广播改变了制作的面貌。与过去的做法相比，这种最新的虚拟内容制作方法更有挑战性，但同时也带来了吸引观众的即时感。

“提供信息的叙事最好是以实时的方式进行。”他说，“你会希望演艺人员在提供最新信息的同时带有真正的即时反应，从而引起观众共鸣。预先录制的视觉内容限制了提供实时叙事的能力，这样就无法保持图像的相关性。我们新的实时虚拟演播室消除了这种限制。”

Drones在看过虚幻引擎5公布会后，对混合现实广播的未来更是充满激情。

“我被它惊呆了。”他说，“随着时间推移，开发与3D图形之间的门槛正在逐渐消失，但我认为在近期，其他任何软件为消除这种门槛所做的贡献都比不上虚幻引擎。虚幻5的公布无可辩驳地证明了这一点，我非常希望能听到更多关于它的消息。”