komeda全新架构显示技术框架助力图像处理技术变革

此前几个月，我们推出了新一代显示处理器特别的预览，代号为“Cetus”。当时，我们已经明确讨论过该款显示处理器可以为整体的图形流水线和Mali多媒体家族（包括图形，视频和显示处理器）所带来的改善，尤其我们的技术在该领域所取得的重大飞跃。随着Mali-D71显示处理器正式发布（即当时的 Cetus），我们现在可以详细介绍这款名为“Komeda”的全新架构，以及它为支持最新、最复杂用户场景所提供的令人惊叹的显示技术框架。

我们此前已经就相对上一代产品的技术创新所带来的惊人回报和相应的架构技术变革展开了深入讨论。此次，我们将讨论具体的性能提升以及为终端用户所带来的改善。

全新变化



首先，Mali-D71 通过在固定功能硬件中进行迭加、旋转、高品质缩放、gamma/de-gamma和其他先进的图像处理任务，减少需要 GPU 处理的工作负载。这一切是在多媒体流水线最后阶段完成的，即在它向屏幕发送最后的输出内容之前， 这意味着GPU 根本不用参与这些操作。此外，完成这些运作只需经过内存一次，而不是来回多次，这样就大幅提升了系统的节电效能。举个更具体的例子，为了一台1440p 设备缩放4K视频层，将其与复杂的沉浸式UI图形层进行合成，对比利用GPU软件进行同样的操作，SoC可节电30%。

与前代产品相比，Mali-D71以并行模式运转时可在同样的面积里事项两倍的性能。与前代产品不同的是，当Mali-D71驱动单块显示屏时，可以重复使用第二个显示核心的资源。这样一来，它可以迭加、旋转和缩放的图层数量加倍，但并不会增加整体面积。这就意味着在与前代产品相同的芯片面积内，Mali-D71可以提供新的增强功能，比如缩放拆分操作、未压缩层的AFBC编码、更快的AFBC解码和MMU优化。当Mali-D71显示处理器与同时发布的CoreLink MMU-600一起使用时，集成的转换缓冲单元(TBU)以及两者通过 DTI接口实现的紧密耦合大幅降低了MMU延迟。

此外，实现4倍的延迟容忍度。相较于前代产品Mali-DP650，Mali-D71 在实现同样的显示性能时，容许系统总线上4倍的延迟。Mali-D71 实现了内存子系统的大幅优化。它允许的待处理请求的数量加倍，从实时路径中移除了未经压缩的旋转，将未经压缩的线性层转换成AFBC1.2 tiled层，从而实现更高效的旋转。这对于必须将4K帧以60-120 fps的帧率输出的高性能显示处理来说十分重要。为了做到这一点，显示处理器需要最大程度地利用占有系统总线上的时间，在显示屏空白时以毫秒为单位预取像素，确保缓冲区一直保有足够的内容。如果显示屏没有及时接收到像素，它就会因缺乏内容出现丢帧的问题，导致屏幕上出现毛刺或明显伪差，影响画质。

最后，Mali-D71将像素吞吐量增加了一倍，以呈现极致的VR 4K120效果。它在全新的并行模式下驱动单块显示屏时可以做到这一点。当只需要为一个显示进行输出时，并行模式将图像一分为二，高效地利用两套资源各处理一半的图像。对于 4K60 及以下工作负载，并行模式可以将时钟频率降低一半，从而支持更低电压，实现节电效能。对于4K120 工作负载而言，并行模式是强制性要求，从而针对相同的目标频率实现了像素吞吐量的加倍。如果不采用并行模式，只可能达到4K60，所以通过并行处理将帧处理需求减半的能力意味着功耗减半或是性能加倍。

背后的重要意义

Arm实际上并不生产实体产品，我们的IP要变成芯片还得花点时间，更不必说真正的设备出产了。而这意味着我们必须始终领先趋势 (至少) 一步，并关注最新科技对现状所带来的颠覆性影响，才能使基于Arm的产品拥抱这些科技趋势。在显示行业涌现出来的具体趋势当中，有些会对我们打算利用全新的Komeda显示架构和已经推出的整体解决方案实现的性能和特性产生较大影响。针对这些趋势的讨论，你可以点击此处查看我的一位同事近期所做的更详细介绍，而我将主要讨论Arm全新显示解决方案是如何应对这些挑战的。

1. 高动态范围
在显示领域，最先出现的必备要素就是高动态范围 (HDR)。HDR 内容在更广的动态范围里被编码，以呈现更加细腻的色彩和对比度。这就使得图像上的暗黑区域变得更暗、更加层次丰富，较亮的区域则变得更明快、更清晰、更饱和，避免它们像我们有时在亮光下在图像上看到的一样变得模糊。越来越多的内容创建者利用HDR提供极致的观看体验，可如果不能将它们恰当地显示出来，就是在浪费时间。Mali-D71搭配Assertive Display 5，从你较为青睐的内容供应商比如Netflix和亚马逊 Video那里获取HDR内容，之后在任何类型的面板上 (即便是SDR) 都可以以HDR画质进行显示。Mali-D71本身获取HDR视频和图形UI 的重叠区，将它们融入以标准伽马编码且带完整色域的单帧里，然后发送给Assertive Display 5转换成正确的色彩范围，用于SDR显示。

这意味着如果你用的只是一款普通的显示处理器，那么内容创建者在以HDR10格式设计作品时所花费的心血全部付诸东流。有了Mali-D71，你就可以重现同样令人叹为观止的HDR画质，在更低规格的显示器上也不例外，完整保留这些内容的艺术匠心。



2. VR
正如我们之前多次讨论过的那样，移动VR提出又一项技术挑战。对显示处理器以及系统其他部分来说，仅仅满足实时延迟和数据吞吐量方面的要求就已经很困难了，更不必说显示设备在靠近眼睛时，对像素质量有更高的要求了。这里就要说一说我们之前提到过的延时容忍度，还有并行模式的节电及性能提升。但是，借助搭配全新的CoreLink MMU-600，Mali-D71能够真正物尽其用。MMU-600将内存子系统进行优化，使得 Mali-D71可以最大限度地利用经过优化的内存子系统去驱动最高性能的VR显示器达到4K120fps 的水平，从而在系统总线上能够容忍更长的延迟。

3. 多窗口显示
由于人们使用手机的频率越来越高，那么我们对多任务处理的需求也就越来越高。目前的台式机已经可以帮我们实现坐在电脑前时，一半显示屏用来显示在线会议，另一边则显示电子邮件或是Facebook内容。现在，我们希望可以在移动设备上进行同等程度的多任务处理。这意味着显示子系统的功能需要更强大，以便同时开展这些不同的活动。前几代的显示处理器可以最多处理4层数据，Mali-D71则提升了一倍，可以在单一显示模式下处理8个Android迭加层。再加上拆分屏幕的功能，这就意味着 Mali-D71可以不费吹灰之力就可以处理你的UI、导航栏、状态信息以及几个完全不同的应用程序。



4. 屏幕，屏幕，屏幕
和科技行业里的许多事情一样，一致性才是王道。要想调整你的应用程序和游戏，让它们在多个平台上运行，这一点很难。显示面板也是如此，显示面板基础的技术、性能点是如此之多，要知道显示处理器可能需要从显示面板获取那些信息 (反之亦然) 以达到最佳工作状态真的很难，但这正是 Arm合作伙伴生态系统大显身手的地方。通过与行业里各式各样的专家合作，我们可以锁定各种面板供应商，确保我们的显示解决方案可以获取可用信息，优化内容，在各种面板上呈现最佳的观看体验。

显示生态系统给予我们前所未有的机会与专家合作，为用户创造最佳的体验。

VR和HDR使用场景需要WQHD+和4K分辨率以及90/120的帧率，这给消费电子产品市场在功耗、成本和上市时间等方面都提出了新的挑战。Arm的Mali-D71显示处理器和 Synopsys公司通过芯片验证且配置VESA DSC编码器的DesignWare MIPI DSI Host Controller IP和MIPI D-PHY IP提供了一个完整的显示解决方案，确保这些关键IP部件无缝集成到不同数据传输模式和显示面板特性的应用处理器上。
——Synopsys 公司高级产品营销经理Hezi Saar

Mali-D71可以为新一代基于显示屏的移动产品 (比如AR/VR头盔) 实现前所未有的 4K120像素吞吐量。利用Mali-D71和Hardent公司的VESA DSC组合解决方案，你可以在既定的移动功耗范围内，通过视觉无损压缩将传输带宽减少3倍，从而实现让用户觉得更加身临其境的VR体验。
——Hardent 公司 IP 产品副总裁Alain Legault

Arm和Analogix正在积极开展合作，为头戴式VR/AR应用的处理器和显示驱动IC制定一项协议，优化工作负载，终极目标就是提供一款整个AR/VR系统的性能、成本和功耗等方面都堪称最优的解决方案。
——Analogix 公司首席技术官朱宁


Arm 完整的显示解决方案
今天我们发布了第一套完整的Arm 显示解决方案，以支持在下一代高端设备上运行的所有最新的使用场景。虽然这些产品的功能都很出众，但是只有当这三样产品合力去达成我们之前讨论过的性能点，才能实现最大效益。全新的架构，再加上预先优化的软件栈和集成的CoreLink MMU-600和Assertive Display 5技术，未来设备上的显示效果必将大放异彩。