迪士尼在 VR 中绘制真实移动物体的地图，向我们展示如何正确接球

作者：Brian Santo，特约撰稿人

迪士尼的研究人员设计了一种虚拟现实 (VR) 系统，让用户可以使用真实的球与另一个人进行接球。但这不是更知名的增强现实（AR）。在仍然沉浸在虚拟世界中的同时检测真实世界对象的能力与 AR 正好相反。电子产品将 VR 的这个子类别称为“增强虚拟”（AV）。 

增强现实 (AR) 在现实上提供虚拟叠加，通常使用透明眼镜。想象一下在体育场观看比赛，但仍然可以在视野的角落看到统计数据或视频回放。或者，想象一下，如果您可以参考与您手中的部件完全匹配的动画叠加层，并准确地向您展示它们如何组合在一起，那么将 Ikea Brimnes 沙发床放在一起会变得多么容易。

反过来也是可能的：将真实世界的图像叠加到虚拟世界上。以前已经完成了创建现实世界对象的数字图像并将它们实时插入虚拟世界。例如，英特尔在其 VR 技术开发计划中有一个 AV 组件，称为Project Alloy。在去年夏天的公司年度开发者大会上，CEO Brian Kzranich 参加了舞台演示英特尔员工沉浸在虚拟现实世界中；VR头显的视野在舞台上方的平面屏幕上翻了一番。这名员工对现实世界视而不见，危险地徘徊在 Kzranich 附近，此时 VR 系统将 Krzanich 的实时视频（疯狂地做出躲避动作）导入 VR 世界。避免了看起来不可避免的碰撞。 

这是一个令人印象深刻的演示，但迪斯尼通过其接球演示大大提高了它的赌注。

“这需要敏锐的视觉感知、预测、时间规划和精细的运动技能……”研究人员在 描述该系统的论文中写道。这只是为了人类 进行捕捉。VR系统必须考虑“系统延迟、深度线索的渲染、帧率、跟踪精度和配准”等影响性能的因素。 

研究人员创建的是一个组合跟踪和渲染系统，允许 VR 空间中的用户看到一个准确描绘真实球运动的虚拟球。用户还可以看到该球去向的投影轨迹以及用于放置他们的手接住该球的建议目标点。通过将他们真实手部运动的 VR 表示添加到混合中，该系统基本上向用户展示了如何在保持在虚拟空间中的同时接住向他们飞来的真实球。

迪斯尼的视频跟踪系统以每秒 120 帧 (fps) 的速度捕捉视频，几乎是拍摄大多数电影所用的 24 fps 的五倍。该显示器是 Oculus CV1，在 Windows 10×64 系统上使用 Unity 3D 游戏引擎，该系统基于英特尔至强芯片，由 Nvidia GeForce 图形处理器支持。研究人员强调，他们正在使用一种相对较新的数学方法，称为无味卡尔曼滤波（在 1990 年代后期开发）来对球的轨迹进行预测估计。

即便如此，研究人员仍必须将渲染环境缩减到绝对基础（墙壁、地板、棒球、代替手的平桨），以最小化渲染帧速率（140-150 fps）和系统延迟——迪士尼工作人员报告说仍然存在延迟。

迪士尼结合了三个可视化，包括渲染匹配的虚拟球、球的预测轨迹以及位于预测轨迹上的目标捕捉点。这段来自迪士尼的视频展示了三者之间的差异，其中包括接球手接球方式的变化（研究人员显然没有预料到这一结果）。

尽管迪斯尼的接球示范非常出色，但它仍然是一个可以而且将会被改进的基本系统。迪斯尼的实验是下手抛球。没有人会疯狂到戴上耳机并试图接住 Aroldis Chapman 的快球。

不过，如果有时间，这可能会成为可能。  

审核编辑 黄昊宇