电子发烧友App
作者：Gina Roos，主编
虚拟现实 (VR) 系统的设计人员面临着许多挑战。这些范围从选择正确的计算能力和冷却系统到将所有这些组件打包成一个小尺寸，同时降低成本。但也许最重要的挑战是人体工程学——确保耳机对用户来说是舒适的。许多设计权衡与外形尺寸有关。为什么？如果耳机在运行内容时太重或太热，用户将不会使用该设备。
负责Oculus VR 产品的 Facebook 虚拟现实硬件产品经理 Prabhu Parthasarathy 表示，虽然人体工程学“非常关键”，但它需要硬件、软件和技术的独特组合 。
“在设计我们的任何产品时，我们从不孤立地看待单个组件；相反，我们会考虑我们试图创造的整体产品体验，包括其独特的受众和用例，”他说。
但 Parthasarathy 承认，“魔法”发生在软件和硬件集成中。
“魔法发生在两个方面——一个是编写软件和体验，让它像魔法一样工作，这非常困难，另一部分是让人体工程学正确，使所有这些都适合让你忘记的形状因素硬件和生活在虚拟世界中。”
从一开始就有多种类型的 VR 系统，从基于 PC 的系统（其中头戴式设备连接到 PC，它负责所有繁重的游戏和图形工作）到一体式 VR 系统，可以运行所有耳机中的软件。
Oculus VR 是一家做到了这一切的公司的一个很好的例子。该公司于 2012 年推出，其理念是让每个人都能负担得起 VR。两年后，Facebook 以 20 亿美元收购了这家公司，尽管它只有一个耳机原型。
“Facebook 看到了一个机会，并表示，'连接人们的自然进程最终将达到我们希望人们在虚拟世界和社区中相遇的地步，'”Parthasarathy 解释说。
第一个产品是 Oculus Rift，这是一个 PC VR 系统，它允许用户在 PC 上运行为 VR 体验而开发的游戏。这些系统不会在游戏大小或图形类型方面限制游戏开发者，并且在外部传感器的帮助下，系统可以确定玩家在现实世界中的位置并将其转换为虚拟世界。
紧随其后的是 Oculus Go，它是该公司第一个不受束缚的一体式 VR 系统，其中软件完全在耳机上运行，但受到三自由度 (DoF) 方向跟踪的限制。三自由度系统可以跟踪三个轴。在 VR 头显中，它可以检测到一个人向左/向右移动以及向上/向下和向左/向右转动他或她的头。
但它不跟踪前后运动或蹲伏与站立。这就是六自由度的用武之地，它对系统硬件、软件和成本都有重大影响。它检测六个轴上的位置——前/后、左/右和上/下。跟踪系统可能很复杂，需要额外的硬件和软件，从而增加成本。
最新的创新是 Oculus Quest，这是该公司首款带有触摸控制器的六自由度一体式 VR 系统。该系统弥补了前两个系统之间的差距，需要硬件和软件团队之间的紧密集成。
Oculus Quest 是一款带有触摸控制器的六自由度一体式 VR 系统。
构建块使用 Oculus Quest VR 系统作为设计示例，Parthasarathy 向我们介绍了 VR 系统的关键组件——在高层次上。
与许多产品一样，计算系统的核心是处理器。工程团队选择了高通移动芯片组骁龙 835 作为其计算系统的核心。Snapdragon 835 有八个内核，时钟速度高达 2.45 GHz，并配备了 Adreno 540 GPU。Oculus 设计该系统以优化芯片的性能，包括新的冷却系统，以更高的时钟频率运行 CPU。稍后将详细介绍冷却系统。
如果处理器是系统的核心，那么最重要 的是跟踪系统。
为了让追踪发挥作用，Quest 设计师开发了 Oculus Insight 由内而外的追踪系统，这是公司的核心竞争力之一，也是最大的创新领域。这允许用户在现实世界中所做的事情在虚拟世界中瞬间发生，这要归功于耳机中的所有传感器（摄像头），因为他们在移动时检测到控制器。
该系统使用来自惯性测量单元 (IMU)、超广角相机和红外 LED 组合的更多数据来跟踪 VR 耳机和控制器的 6 自由度位置。
Parthasarathy 说，这是一个复杂的系统，由硬件组件——传感器、IMU 等——复杂的软件组成，包括传感器融合和计算机视觉算法。
Oculus Insight由内而外跟踪的核心 是同步定位和映射（SLAM），它使用计算机视觉算法“融合”来自多个传感器的传入数据，以在不断更新的数字地图中确定对象的位置. 它还使用其他传感器，例如来自耳机和控制器中 IMU 的加速度和速度数据，这些数据在移动芯片组上实时处理。
Oculus Insight 由四个超广角传感器组成，用于分析头戴设备外部的环境，而计算机视觉算法则用于实时跟踪精确定位。该系统跟踪一个人的全方位运动，并精确定位两个手持控制器和耳机的位置。
“Insight 使用来自这些传感器的信息来创建您环境的 3D 地图，以便让您安全地在您的游戏空间范围内，同时将您的动作精确地转换为 VR，从而带来令人难以置信的身临其境的体验，”Parthasarathy 说。
数字信号处理优化包括异步地图更新，它允许系统在后台根据用户环境的变化更新地图。IMU 独立运行，输出数据存储在内存缓冲区中，以最大限度地减少系统延迟。
Oculus Insight 一次实时处理多个数据线程。
接下来是查看系统，或显示器和光学器件。虽然 Oculus 在其部分产品中使用 LCD 技术，但该公司为 Quest 选择了 OLED 技术。OLED 显示屏提供 72Hz 的刷新率和每只眼睛 1,600 × 1,440 的分辨率。Quest 还集成了镜头间距调整功能，以提高视觉舒适度。
“制作引人入胜的 VR 体验的关键之一是镜头，”Parthasarathy 说。“这些 [Fresnel] 镜头非常特别，并且是针对头显的尺寸和尺寸以及您想要通过头显解锁的各种体验量身定制的。
“在为无线耳机 Quest 考虑合适的显示器时，我们需要能够以相对较低的功耗提供出色视觉效果的东西，以及结合我们一流镜头的 OLED 屏幕——与我们在 Oculus Go 中使用的镜头相同——提供了适当的平衡，”他补充道。
然后是无线组件。由于 Oculus Quest 是一个独立系统，它使用 Wi-Fi。但这还不是全部。还需要其他通信组件，特别是需要与耳机几乎实时通信的两个手控制器。
实时部分是最大的挑战，它减少了用户在现实世界中所做的事情和将其转化为虚拟世界之间的延迟。
“VR 的魔力在于，当我在现实世界中移动我的手时，我们需要它在虚拟世界中几乎瞬间发生，”Parthasarathy 说。“如果你在现实世界中所做的事情与你在虚拟世界中看到的事情之间存在滞后，那么这种体验就会非常不和谐，以至于你有时会被它所推迟。”
为了减少延迟，Quest 设计人员开发了自己的协议来在控制器和耳机之间进行通信。Parthasarathy 说，作为比较，低延迟协议之一的低功耗蓝牙 (BLE) 运行时间约为 7.5 毫秒。“耳机和控制器之间的通信延迟约为 2.5 毫秒，这太棒了。”
接下来是权力。Parthasarathy 说，VR 的关键之一是为人们提供系统不会抑制的体验，这意味着提供足够长的电池寿命，让他们可以做他们想做的事情。
但与此同时，这个想法不仅仅是在耳机中放置一个大电池，他补充道。“你必须使用足够大的电池来容纳这些体验，但又不能让耳机非常不舒服和沉重。”
Parthasarathy 没有详细说明，但表示 Quest 使用定制的电池组。尽管这项技术——可充电电池——并不是独一无二的，但电池必须是适合耳机的外形尺寸。
根据文档，Quest 使用 3,648-mAh 可充电锂离子电池组，额定功率为 14-Wh。双节电池的标称电压为 3.6 V，重量约为 70 克。
虽然 Parthasarathy 表示 Oculus 主要使用现成的技术，但它通常需要其设计师和组件供应商之间的紧密合作。无论是电池还是显示器或其他组件，通常都会有很多定制工作恰好满足他们的要求。
例如，用于跟踪系统的许多组件都是现成的部件，例如红外 LED。但在其他情况下，像 IMU 这样的部件需要进行一些调整。
“我们使用普遍可用的 IMU，但我们对跟踪的要求非常严格，以至于有时我们会去找供应商说，‘你们 90% 的规格符合我们的要求，但你们能否让另外 10% 更严格以满足我们独特的系统要求？'”Parthasarathy 说。“我们不想成为为所有事物旋转定制硬件的企业，因此我们尝试利用现成的组件。
“这款耳机的组件很少，我们只是去找供应商说，‘给我们一些这样的设备’，我们只是将它们集成到我们的系统中，”他说。“通常与供应商有非常密切的合作——比如光学和显示器。”
另一个例子是系统冷却，这是这些系统的一大设计挑战。Oculus Quest 使用风扇、散热器和非常“新颖的架构”的组合，可以让热量消散并防止设备过热。
它使用基于风扇的主动冷却系统来调节温度，这使得 Quest 能够以更高的时钟速率持续运行，因此它可以从 Qualcomm Snapdragon 835 SoC 中获得更多功率。除了主动混合风扇技术外，该系统还包括热管和定制设计的散热路径。
一旦满足硬件要求，推动软件创新是 Oculus 产品的一大支柱。Parthasarathy 说，推动新体验的方法是达到硬件满足广泛性能指标的程度，然后使用软件突破界限。
“软件创新使我们能够将我们的硬件发挥到最大潜力，同时随着时间的推移继续为人们解锁越来越好的体验，”他说。“这对我们来说是一个很大的关注领域。”
一个例子是最初在 Rift S 上推出的Passthrough+功能，它为人们在 VR 中提供立体正确的实时环境视图（例如，能够“透视”传感器并在仍然佩戴耳机），Parthasarathy 说。
“在 Quest 上实现这一点需要在高性能图像处理和 3D 计算方面取得进步，现在它已经推出，当你走出游戏空间时，Passthrough+ 会打开，以确保你可以轻松找到回去的路。”
将它们结合在一起人体工程学是一个重要的设计概念，在许多情况下，它与 VR 系统的组件选择有关。一切都是实现最佳设计的平衡行为，构成 VR 系统的所有关键组件都是设计权衡。
Parthasarathy 说，这一切都是为了在完全沉浸在体验中的感觉和舒适之间找到适当的平衡，同时还要拥有合适的硬件，因此跟踪是完美的，以及良好的电池寿命和出色的显示效果。
想一想，他说：“你想拥有一个适合你头上的耳机，还是想戴上一些感觉就像你的太阳镜但仍然给你同样的沉浸感的东西？每个人都想要太阳镜外形。不幸的是，太阳镜外形的挑战在于，您不能完全适应您想要的那种处理、电池或丰富的光学和显示技术，同时又要使其足够舒适。
“人体工程学本身并不是最大的挑战，”Parthasarathy 说。“为了提供这种引人入胜的体验，你必须考虑到系统的所有方面。
“如果我只想改善人体工程学，这是一个非常简单的单侧杠杆，我可以按下它。但这将伴随着我们想要做的其他方面的重大妥协，所以一切都是一个权衡。”
VR 始于 PC 上的一切，而现在，设计师正试图在不依赖 PC 和显卡或大型冷却系统的马力的情况下获得类似的体验。
“为了在一体式和独立式 VR 头戴设备上解锁类似体验，需要大量工作和非常独特的技术，例如固定中心点渲染，我们可以非常巧妙地卸载大量工作，因此我们可以为开发人员提供尽可能多的 GPU，以便他们制作出色的游戏，”Parthasarathy 说。
“如果你与任何系统工程师交谈，他们会告诉你在冷却和计算以及帧速率和运行频率之间存在巨大的权衡，”他说。“这里发生了很多事情，我们正在努力解决它。”
现在，Oculus 正致力于推动人们在 PC 上熟悉的图形和游戏体验。该公司最近的一项创新是取消系统中的控制器。去年年底，Oculus 开发了一个 SDK，允许 VR 开发人员构建体验，让玩家可以在没有控制器或其他外围设备的情况下使用自己的双手。
Quest 的计算机视觉团队使用深度学习来了解玩家手指的位置，仅使用 Quest 上的单色相机。Oculus 解释说，该技术创建了一组 3D 点来准确地表示您在 VR 中的手和手指的运动。
手部追踪是软件产生重大影响的一个领域。“通过软件创新，我们可以解锁全新的输入和交互模式，而无需任何新硬件，”Parthasarathy 说。“在移动芯片组上启用这是一个巨大的挑战。
“为了实现这一目标，我们的计算机视觉团队开发了一种应用深度学习的新方法，仅使用 Quest 中内置的单色相机即可了解手指的位置。不需要有源深度感应相机、额外的传感器或额外的处理器。
“相反，深度学习与基于模型的跟踪相结合来预测用户手的位置和手上的点，然后在 3D 模型中重建用户的手和手指的‘姿势’，”他说。“这一切都是在移动处理器上完成的，不会影响我们专门用于用户应用程序的资源。”
从长远来看，VR 设计师仍然面临许多设计挑战，例如制作更小的外形尺寸和更舒适的头显，同时仍能提供相同的 VR 体验，以及更长的电池寿命。其中一些是由客户驱动的——比如大约 400 到 500 美元的合理价格点。
Parthasarathy 说：“我们正试图找到一个持续改善用户体验的最佳点，为客户提供他们想要的东西，同时突破技术的界限并使其更容易获得。” “我可以用 2,500 或 3,000 美元的耳机解决这些问题，但这不是本意。我们希望让大多数人都能访问它。”
审核编辑 黄昊宇
工商网监
评论