元宇宙推动AR、VR、MR的融合

元宇宙正在推动芯片设计的极限，尽管不确定这些设备最终需要多少原始动力来提供沉浸式的AR、VR、MR的融合。

开发这些系统的最大挑战是实时处理混合数据类型的能力，同时数据以闪电般的速度不间断地移动。这需要系统的集成，以及系统的系统的集成。无缝运行将需要在芯片层面和其他层面取得进步：

处理器必须具有足够的功率以避免信号的跳跃。与此同时，该系统在设计上还必须考虑到优秀的能效。实现这种平衡需要混合处理元素，其中许多元素需要针对特定任务和数据类型进行定制设计，并具有优先级的数据路径，以便将数据快速移动到需要的地方。

头盔在运行时必须保持合适的温度，满足长时间佩戴需求。比如屏幕长时间处于激活状态，智能手机可能会变得太热。戴在脸上的设备温度要比手机更低，尽管计算量可能要高得多。

来回移动图像和视频数据需要巨大的带宽。通常在家庭或办公室等固定环境中使用高速无线连接实现。但在移动应用中，这些设备可能会搜索信号，因为传输这些信号所需的更高频率容易受到从天气到其他移动物体等各种因素的干扰。

架构需要足够灵活，以合并通信协议和其他仍在发展的标准的变化，这将需要某种程度的可编程性。如果做的不好，可能会影响性能。在软件中做这些改变可能会大大降低系统速度，需要更多的处理，这反过来会产生更多的热量。

Cadence的Tensilica Vision和AI DSP产品管理、营销和业务开发总监Amol Borkar表示，满足所有这些要求的设备必须需要“硬件和效率上的革命”。“这个领域仍处于起步阶段。如今的电池驱动的头盔大多还是原型。这种设备可能在算力上与目前的手机接近，但考虑到与用户面部的距离，其功耗需要低得多。”

事实上，在某些情况下，它可能被绑定到手机上。著名发明家、Rambus研究员Steve Woo表示：“在像眼镜这样的设备上，你想做多少事情，而在一些互联设备上，你想做多少事情，这方面存在很多问题。一种可能性是，你的手机可以成为一个中心，其中一些处理可以被卸载。这比眼镜之类的东西好一点。但它仍然是一个电池驱动的设备，如果你碰巧旁边有一个插在墙上的东西，也许你也可以在那里卸下一些处理工作。但响应时间将非常重要，所以你必须尽可能在靠近设备的地方完成所有工作。”

其他人也提到了类似的限制。Arm家庭市场部门主管Pablo Fraile说：“我们认为元宇宙是任何增强手机功能的东西。这项技术可以朝着多个可穿戴的方向发展。AR和VR是这一领域的两个极端，而这两个极端的限制条件也截然不同。我们还考虑到元宇宙被部署在不同的环境中，家庭、办公室、室外或车内。因此联网将是绝对必要的。这种连接不仅存在于用户和网络之间，也存在于人们随身携带的不同设备之间，因为你可能同时拥有不同的可穿戴设备。”

复杂的整合

一种普遍的看法是，元宇宙将主要用于游戏或社交媒体的动画3D版本。但它在工业和企业应用中可能有更广泛的用途，而且每种应用都有非常不同的技术要求和芯片架构。

TSMC北美区总裁兼CEO Dave Keller在最近的一次演讲中提到了元宇宙，指出AR已经被其客户和内部培训广泛采用。他说：“在封锁期间，我们使用HoloLens与我们在美国和欧洲的设备供应商远程合作。元宇宙将进一步推进这些。去年，元宇宙让所有人都在讨论将真实和虚拟融合到数字时代。这将需要5G、云和边缘计算。”

它还需要巨大的能量。Infineon电力和传感器系统总裁Adam White说：“你需要1000倍以上的算力才能生活在元宇宙中。对于AR/VR来说，最大的问题是如何产生足够的能量使其工作。”

Infineon美洲区销售SVP Shawn Slusser说：“我们的服务器还不能处理元宇宙。然后是整个传感器，物联网之类的环境，必须输入元宇宙。这就像一个生态系统，而这个生态系统还没有建立起来。这需要一些时间。”

Arm的Fraile表示同意。他说：“我们必须经历一个学习阶段，无论是在如何使用这些东西，还是在如何建造它们方面。这并不是说挑战比我们以前见过的任何都要大。但这是一项很难整合的技术。让这些东西同步并看起来真实是一项艰巨的工作。这不仅仅是网络的问题。它还涉及数据管理和数据压缩。在某种程度上，所有这些技术仍然需要出现，在这些领域有大量的研究。”

其中包括大量的半导体，其中许多将是高度定制的。

Rambus的Woo表示：“一旦这开始形成一个规模合理的市场，你就会开始看到更多专注的创新。你可以在智能手表上看到这一点，它们现在自成一个品类，有自己独特的发展空间。你会在AR和VR上看到同样的情况，当你找到合适的应用，越来越多的人开始采用它并解决问题。内存将是这种实现的一大挑战。”

整合这些设备以使它们能够顺畅地交换信息还有另一个挑战。虽然最初这将建立在现有的通信基础设施和方法之上，但随着在有线和无线基础设施之间移动的数据量不断膨胀，它将以新的方式对这些系统施压。

AR/VR开发人员从28nm节点开始就一直在等待处理器能够在足够低的功耗下提供足够的性能，从而使该行业成为可能。他们没有预料到的是，随着时间的推移，计算架构会发生如此巨大的变化。因此，与其仅仅等待5nm或3nm处理器的出现，这个市场上最大的玩家现在正在设计自己的芯片，以优先考虑数据流，使用融合了某种形式的AI、更快的I/O和一些高级节点计算元素的异构架构。

考虑到元宇宙设备的处理和分辨率需求，这一点非常关键。Synopsys的产品营销SVP Hezi Saar说：“我们说的是两种显示驱动，4K*4K。他们应该有一个很高的比特率，RGB 30 bits，最低90Hz的频率。所以你看到的是每只眼睛每秒40或50GBt。这提供了非常高的分辨率，不会产生任何晕车或类似的情况。你需要摄像头为你观察环境，连接XR处理器，以及连接显示驱动。”

Saar指出，这一领域的许多创新可能来自一种可以集成多种功能的XR加速器。“XR加速器连接外部世界或摄像头，对摄像头进行插值，从电影或游戏或其他XR处理器获取信息，并将其叠加进去。这是一个重型XR加速SoC，为此我们确实看到了一些设计。它们需要非常低功耗的USB、MIPI接收器、摄像头发射器和多个显示端口。低功率很重要。发热是一个问题。功率一直是个问题。但我们确实看到市场在向前发展。”

许多这样的芯片将根据特定的环境或用例进行定制，而大多数争夺这一领域领导地位的公司都在为繁重的任务设计自己的芯片。以Meta为例，该公司选择了3D-IC，因为它表示AR的计算强度不会像VR那样高，VR需要不断刷新整个背景。因此，阻碍3D-IC全面采用的热问题将不是主要因素，信号传输的距离将更短，电阻和电容将更小。

充满未知的际遇与大多数新的市场机会一样，元宇宙是一个具有非进化含义的进化概念。它的缺乏定义大致相当于边缘计算概念，大多数芯片制造商将其视为一个广阔的机会，但花了近10年的时间才展开。边缘仍在建设中，目前尚不清楚谁将成为这一领域的大赢家。

但边缘也将在元宇宙中扮演一个不可或缺的角色，反之亦然。Borkar说：“今天，我们看到许多这类设备主要由显示器、摄像头、麦克风和头盔中的其他传感器组成，但所有的计算通常都发生在一个‘带包’或计算包中。随着时间的推移，我们将看到这一切合并到一个独立的头盔中。此外，我们预计头盔将变得更加符合人体工学、美观和非侵入性。我们已经被智能手机宠坏了，当这些AR/VR设备成为主流时，预期电池续航时间需要在8-12小时范围内。如果需要频繁充电或被要求随身携带充电宝，一般人是不会乐意使用这些设备的。”

这些设备还需要可扩展的架构以及支持多核集群和多线程的能力，Borkar说：“当需要分配工作负载来满足算法的不同性能需求时，这一点很重要。例如，你可以让轻量级AI网络以高FPS实时运行，同时，另一个轻量级AI网络也实时运行，但FPS低得多，然后是第三个网络，计算量大，但很少运行或以突发模式运行。该架构需要能够在运行时在多个集群或架构之间有效地处理这些工作负载，为用户提供最佳的功率和性能。”

说到FPS，Borkar指出创造一款不会让人感到头晕的设备是一项复杂的工作。他说：“与刷新率有关的因素有很多。“显示器的刷新率、头部跟踪和渲染pipeline以及整体延迟。在显示端，通常建议每个显示屏至少显示1080p，刷新率为90Hz。在此基础上，头部跟踪算法必须能够无缝且准确地跟踪用户的头部运动。今天的SLAM算法使用来自摄像头、IMU和其他输入的传感器融合，可以在摄像头频率的最小值（通常为60-90 FPS）下精确跟踪6DoF定位。该算法可以进一步优化，仅依靠IMU数据产生1KHz的位姿估计。大多数图形pipeline通常运行在60-90Hz。”

“因此，为了这个1KHz的姿势信息，实现了空间扭曲和时间扭曲的高级图像处理技术来创建中间图像（不渲染全新的图像），提供了一个非常快速的渲染pipeline的感觉。最后是延迟，通常以MPT（motion to photon）延迟来衡量，或者从被测量的运动到它被记录在屏幕上的时间。所有这些因素结合在一起，对防止头晕非常重要。”

Synopsys的Saar预测，大部分与元宇宙相关的半导体将用于智能眼镜设备。他说，至少在不久的将来，这些设备可能会被用作智能手机的某种延伸。眼镜-智能手机组合的串联特性解决了元宇宙设备的一些技术挑战。Saar说：“它会把东西投射到眼睛上，这样你就能看到有人发信息或打电话给你。该设备本身可以拍一些照片，但除此之外就没什么其他功能了。大多数情况下，它是完全关机的，只有在有中断时才会打开。这意味着所有的算力都来自手机，而从手机到眼镜的连接主要是为了获取信息和图像。我认为这是一个轻量级的元宇宙。”

可以肯定的是，关于元宇宙的底层硬件还有很多未知和不可预测的地方。即使是关于元宇宙到底是什么的基本问题，科技界也尚未达成共识。试探性的答案会带来更多的问题。“你如何收集数据？如何保护数据？你如何确保人们不会录下他们不想录的东西？”

［参考文章］Chip Challenges In The Metaverse — Marie C. Baca and Ed Sperling

编辑：黄飞