读懂极易并行计算：定义、挑战与解决方案

GPU经常与人工智能同时提及，其中一个重要原因在于AI与3D图形处理本质上属于同一类问题——它们都适用极易并行计算。

---

什么是极易并行计算？

极易并行计算指的是符合以下特征的计算任务：

任务独立性：

子任务不依赖于其他任务的中间结果。

数据耦合需求低：

并行任务在执行过程中几乎不需要数据交换。

可分解性：

处理过程可以拆分为一组许多相同的任务。

或者…

包含多层任务结构，每个任务又包含许多子任务。

这些计算任务通过利用多个处理器能够获得显著的性能提升，因此非常适合部署在高度并行或分布式计算平台上，如GPU。常见的例子包括：

3D渲染：每一帧或每个像素都可以独立处理，GPU实现高效渲染。

蒙特卡罗模拟：用于统计建模和风险分析。

密码学：暴力破解和密码破解。

图像处理：对大规模图像数据集应用滤镜或调整大小。

机器学习：例如随机森林树的增长步骤或在GPU上进行卷积神经网络（CNN）推理。

---

极易并行计算面临的挑战

尽管本质上较为简单，极易并行计算在实际应用中仍面临诸多挑战：

过度并行化：线程创建过多会带来额外开销，导致收益递减；

资源管理：对内存等资源的竞争可能降低整体效率；

负载均衡：任务在处理器间分配不均容易造成性能瓶颈；

硬件限制：若忽视平台特有的约束条件（如可用核心数或内存带宽），可能无法充分发挥硬件潜力；

同步开销：尽管通常较小，不当的同步机制仍可能引入额外延迟。

在应对这类问题时，一个重要挑战是保持性能一致性，这对于确保工作负载能够高效运行在不同硬件架构上而不需大量修改至关重要。过度优化可能会牺牲性能一致性，导致对某一特定GPU厂商的依赖。在如NPU这类面向特定领域的加速器时，这一问题尤为突出。

在CUDA、OpenCL和Vulkan等主流API上的实现提供了一定程度的软件可移植性，但通常仍需针对特定平台进行高度优化。由于各类API及其实现之间在内存模型、同步原语和执行范式上的差异，在优化极易并行的应用时常常会引入低效问题。因此，急需一个更高层次的、统一的、与硬件无关的抽象层，以避免开发者不得不为不同平台编写多套代码路径。此外，SYCL等框架正在逐步弥合这一差距。

---

极易并行计算的边缘处理解决方案

对设备端图形性能和高性能边缘AI推理的需求，催生了对高效、可扩展的并行处理解决方案的需求。

常见的挑战来自于边缘设备典型的资源限制。有限的功率预算、有限的内存以及对实时性能的需求，都要求进行精心优化。算法必须简化以适应边缘处理系统较低的计算和较少的内存空间。同时，为了支持跨多种硬件的不同推理任务的增长阵列，可扩展性和灵活性仍然至关重要。

深度学习的进展，特别是Transformer架构的引入，以及计算机视觉技术的突破，包括零样本学习和自监督模型，显著提升了计算复杂性，并推动了硬件需求的转变。极易并行的工作负载算法正快速演进，在边缘侧展现出卓越性能，但同时也为硬件投资带来了独特挑战。这凸显了对具备自适应性和多样化能力的硬件的迫切需求，以跟上算法快速迭代的发展步伐。

新模型和新方法的出现速度往往快于传统神经网络处理单元（NPU）的适应能力，使得对这类硬件的投资天然存在较高风险。NPUs通常针对特定任务进行了优化，在当前的推理工作负载中效率极高，但在面对计算需求发生重大转变（如Transformer模型的兴起或新型计算机视觉技术的应用）时，其通用性和灵活性则相对不足。

这种不匹配凸显了在硬件系统中实现专用性与通用性平衡的重要性。在此背景下，通用性指的是可编程能力、更广泛的工作负载支持能力，以及对快速演进的算法需求的适应能力。能够支持多样化推理任务的硬件不仅有助于延长其生命周期，还能在计算需求变化时降低被淘汰的风险。以GPU为例，其具备更高的可编程性，使其能够灵活应对快速变化的算法发展。

Imagination在GPU设计方面拥有深厚的技术积累，并在面向极易并行工作负载的高效、可扩展硬件解决方案开发上具备成熟的实践经验。我们专注于在效率优化、开放生态系统、先进工具链，以及极易并行处理方面的持续创新，不仅使我们的产品具备差异化优势，也赋能开发者在性能与易用性之间实现最优平衡。

我们的核心技术包括：

面向边缘和嵌入式设备的高性能计算架构

采用更合适颗粒度SIMD执行以及高效内存层次结构，实现低功耗的并行计算；

处理器单元间的数据传输最小化；

针对不同工作负载提供高效的专用硬件加速路径，包括支持混合精度算术。

开放且跨平台的API和软件生态系统

对Vulkan和SYCL的优先支持

通过优化后端支持主流AI框架

低延迟、实时计算API支持

先进的编译和优化工具

跨平台编译器工具链

开发者友好的调试和分析工具

我们的GPU历经多代发展，始终致力于高效处理极易并行的工作负载，并在应对AI实现中的各类挑战方面积累了丰富的机制和经验。例如，在应对线程分歧（Thread Divergence）时，我们采用了多种优化策略：

控制流简化：Imagination的GPU在可行的情况下用算子替代条件语句以简化执行流。对于短序列，我们使用预测指令执行而非分支。

协调执行：利用增强同步和执行线程之间集体决策的原语或API，确保更好的资源利用率。

Warp级原语：我们在GPU Warp中使用等效的subgtoup功能来高效地做出集体决策。这些原语增强了同步性，允许执行组协调任务，确保更好的资源利用并减少低效情况。

---

结语

在现代计算中，特别是在边缘推理领域，极易并行计算凸显了可扩展性和资源效率的重要性。通过深入理解这类任务的独特特性，并利用适当的硬件架构，开发者可以充分释放这些任务的潜力。然而，随着硬件创新因物理限制而放缓，软件和算法的改进将成为突破现有瓶颈、挖掘并行计算新机遇的关键。

作者简介

Ed Plowman是Imagination的创新副总裁，在GPU架构和机器学习加速领域拥有丰富经验，致力于推动图形、计算和系统性能方面的创新，已有30多年从业经历。作为Imagination Technologies的创新副总裁，他领导先进GPU流水线的相关工作，探索新型ALU设计、图神经网络以及基于机器学习的性能建模，以推动AI和图形领域的可扩展计算发展。他过去的工作涵盖移动GPU、精准农业以及虚拟制作，并因此获得了女王奖和科技类艾美奖（Science & Technology Emmy）。Ed还是Khronos Group的创始成员之一，在自适应计算和可编程图形方面拥有多项专利。

声明：本文为原创文章，转载需注明作者、出处及原文链接。

原文链接：https://blog.imaginationtech.com/embarrassingly-parallel-problems