加速AI推断的三个关键因素

作者：Greg Martin，赛灵思公司战略市场营销总监

AI 已经开始改变我们生活的方方面面，推动了显著的社会进步。从自动驾驶汽车到 AI 辅助医疗诊断，我们正处于一个真正的变革时代的开端。

但是，有机遇就会有挑战。AI 推断作为采用经训练的机器学习算法开展预测的过程，无论是部署在云端、边缘还是终端，都要求在严格的功耗预算下提供优异的处理性能。普遍的看法认为，仅凭 CPU 难以满足这一要求，需要某种形式的计算加速才能更高效地处理 AI 推断工作负载。

与此同时，AI 算法正在快速演进发展，且速度快于传统芯片开发周期的速度。如果使用 ASIC 等固定功能的芯片实现 AI 网络，则可能因先进 AI 模型的高速创新而迅速过时。

整体应用加速

此外还有第三个挑战，而这也是较少为人所知的一个，其出现的原因在于 AI 推断无法单独部署。真正的 AI 部署通常需要非 AI 处理，无论是在 AI 功能之前还是之后。例如，图像可能需要完成解压缩和缩放后才能符合 AI 模型的数据输入要求。这些传统的处理功能必须运行在与 AI 功能相同的吞吐量下，同样需要实现高性能与低功耗。与 AI 推断实现方案类似，非 AI 的预处理和后处理功能开始需要某种形式的加速。

要构建真实应用，就需要高效地实现整体应用。在数据中心应用中，应用可能拥有数千个乃至数百万个并行实例。如果每个实例都能降低一定程度的功耗，总功耗将实现显著下降。

只有当整体应用能够通过加速满足性能目标，同时又能通过提高效率满足功耗要求时，解决方案才具备可行性。那么，我们该如何通过可行方式实现整体应用加速呢？

这里有三个关键因素：

◀ 能够构建定制数据路径；

◀ 使用单器件实现方案；

◀ 能够充分发挥最先进的 AI 模型的优势并随之实现快速演进发展和改善。

下面分别具体介绍这三个环节。

1、能够构建定制数据路径

大多数形式的 AI 推断是在流数据上运行的。数据通常处于运动状态，如视频的一部分、正在处理的医疗影像或是正在分析的网络流量。

即使将数据存储在磁盘上，也要从磁盘上读取数据，然后通过“AI 应用”进行传输。定制数据路径为处理这类数据流提供了最高效的方法。

定制数据路径让应用摆脱了传统的冯·诺依曼 CPU 架构的限制。在这种架构中，数据以小批量从存储器读出，经过处理再写回处理器。相反，定制数据路径将数据从一个处理引擎传递给下一个处理引擎，不仅时延低，而且性能水平合理。过低的处理性能无法满足这种应用的要求。过高的处理性能则会降低效率，因存在闲置功能而浪费功耗或物理空间。定制数据路径提供了绝佳平衡，为应用提供量身定制的实现方案。

2、单器件实现方案

一些解决方案非常适合 AI 推断，但并不适合整体应用处理。GPU 等固定架构器件普遍不适合这类用途。GPU 往往能提供很高的 TOP（每秒太次运算，一种常见的性能指标），但是 AI 推断性能通常需要与预处理性能和后处理性能匹配。如果非 AI 组件不能高效地在同一个 GPU 上实现，就需要多器件解决方案。由于需要在器件间传递数据，会浪费功耗，因此从功耗的角度来看极为低效和高成本。因此，一个能够高效实现整体应用的单器件在实际 AI 推断部署中拥有显著优势。

3、灵活适应最新的 AI 模型并随之演进

AI 的创新速度令人惊叹。如今被视为先进的技术，很容易在半年后就宣告过时。使用较老模型的应用有丧失竞争力的风险，所以，能够快速实现最先进的模型就极为关键。

那么，什么样的技术既允许 AI 模型动态更新，又能提供构建定制数据路径的能力，从而在单个器件中加速 AI 和非 AI 处理呢？答案是——自适应计算平台。

自适应计算平台

自适应计算平台构建在能在制造后动态重配置的硬件上。这包括 FPGA 等经过长期检验的技术，以及赛灵思 AI 引擎等最近的创新。赛灵思 Versal™ 自适应计算加速平台等单器件平台便于构建定制数据路径，为 AI 处理和非 AI 处理功能提速。此外，因为硬件可以快速重配置，所以它们也能快速高效地实现最新 AI 模型。自适应计算器件结合了两方面的优势。它们既具备定制 ASIC 的效率优势，又避免了漫长高成本的设计周期。

赛灵思 Versal AI Core 系列 VC1902

最优秀的 AI 应用实现方案未必是速度最快的。它需要的是在效率最高的同时保持灵活性。它必须是量身定制的，能够按需交付性能，不多不少。

总结

随着 AI 推断的应用日益普及，问题不仅在于如何部署 AI 模型，也在于如何最高效地部署整体 AI 应用。在应用被复制数千次乃至数百万次时，每个实例的少许节能也许能省下整个发电站所需的能源。如果将这种节省扩展到正在开发的不计其数的新 AI 应用中，效果将十分明显。毫无疑问，整体 AI 应用的高效加速应成为技术行业所有从业者的目标，而自适应计算平台提供了极富竞争力的解决方案。

责任编辑：haq