微软将VR和AR的优势结合起来，创建了一个混合现实环境

在将数字能力引入我们的生活方面，虚拟现实和增强现实都有各自的优势。对于虚拟现实，用户看到的一切（包括环境与对象）都可以被控制和改变。这同时意味着用户所见并不一定反映着现实世界。例如，如果这时另一个用户进入房间，她将不会出现在VR世界。

另一方面，AR允许用户利用虚拟信息丰富他们的物理环境。你可以将虚拟对象添加到环境中，也可以在视觉上更改或删除现实世界的对象。然而，其中许多更改都难以实现。要删除物理对象，你必须能够通过虚拟内容覆盖现有的物理对象，从而令其不再可见。这需要虚拟对象和物理对象的精确对准，从物理对象背后提取背景信息的能力，以及能够以原始对象不再可见的方式覆盖物理对象的显示技术。由于典型的混合现实技术依赖于前置摄像头和头戴式透视显示器，又或者是视频透视显示器，因而这些变化可能难以实现，因为前置摄像头无法感知应删除物理对象背后的环境。

微软 开始探索将VR和AR的优势结合起来，在混合现实中创造性地操纵空间与时间。他们创建了一个混合现实环境，其中用户可以看到周遭环境的实时表示。与其他方法相比，用户不是通过机载摄像头看到图像。相反，微软为房间配备了八个安装在天花板上的Kinect摄像头。摄像头的数据将组合成一个完整的3D房间重建视图。用户可以通过VR头显看到重建的环境实时视图。

微软团队将用户的虚拟视点与他们在房间中的实际位置相匹配。这意味着物理对象能够对齐虚拟表示。由于数据是实时传输，因此用户能够实时感知到物理环境中的任何变化（如家具的移动或进入房间的人）。用户仍然可以触摸和感受到现实世界，并同时获得执行几乎所有视觉变化的能力。

微软将这种类型的空间和时间操作看作是一种新型的透视AR，它允许用户体验他们的物理环境，同时还可以实现通常只能在VR中进行的元素更改。用户可以轻松地“擦除”房间中的几何图形，比如重新粉刷模拟房间等等。由于Kinect摄像头是从多个角度覆盖环境，因此用户可以擦除房间中的一部分并浏览其背后的环境。这对于依赖于前置摄像头的传统AR而言十分具有挑战性，因为其无法感知对象背后的环境。

与此同时，这些空间和时间操作令重新着色，移动或复制对象成为可能。“克隆”对象的例子如图3所示。由于所有更改都连续应用于实时几何体，因此在进行操作后，对象任何的移动或复制都会继续实时动态更新。

时间变化同样有可能实现。用户可以暂停时间（即暂停接收实时数据），并在静态重建环境中自由移动。他们还可以记录事件，并以任何所需的速度播放它们。

图3（左）中的用户在跳跃时暂停了时间。这有效地为用户提供了静态3D重建，这意味着他仍然可以自由移动。由于环境是3D模型，更改用户视图就像修改相机视点一样简单。例如，用户可以虚拟地移动到房间的另一部分，并从不同的角度浏览环境，无需改变自己的物理位置（图1d和图5中说明了这种情况）。同样，微软实现了一个视图传送门机制。用户可以看到同时观察房间的各个部分。

由于这些实验结合了多个Kinect摄像头的数据，因此微软还实现了在用户当前空间内包含远程位置的功能。这种交互的灵感来自于早期的研究，如Holoportation。图5是远程用户及其环境出现在了用户的当前视图。远程用户只需要一个Kinect摄像头即可。这种实现结合了本地和远程数据。

从房间改造，游戏到会议，微软为这种在混合现实中操纵空间与时间的用例设想了一系列的有趣场景。我们可以扩展混合现实中的可能性空间，并提供一种无缝桥接虚拟世界和物理世界的方法。这可以支持用户完全控制感知物理环境的方式，并允许他们进行几乎所有的视觉修改。

微软同时设想混合现实的未来版本能够改变用户对物理的感知（如创建实时零重力环境），甚至是对时间的感知（如慢动作环境）。一旦用户无法再区分虚拟和真实，我们就可以寻求最舒适或最适当的平衡。微软设想这样的系统适用于广泛的心理物理实验（如调查灵魂出窍），或探索生活在颠倒世界中的感觉。这项研究代表了该领域的初步探索。微软表示未来还有很多工作要做，包括提高用户所见的视觉质量，而他们同时渴望继续挖掘这一方法的优势和局限。