基于 ODLA 的异构 AI 硬件对接方案介绍

在刚刚结束的 2020 云栖大会上，阿里云宣布对行业开源业界首个深度学习开放接口标准 ODLA（Open Deep Learning API）。阿里云在今年 5 月份的 OCP 全球峰会上首次对外公布 ODLA 接口标准，并宣布已率先在 Graphcore 等生态伙伴上获得支持。IPU 是 Graphcore 为机器智能从零设计的 AI 处理器，通过 ODLA 接口，开发者可以在 IPU 上快速跑通 AI Matrix 的各类模型。

张伟丰博士在 2020 OCP 全球峰会上公布 ODLA 接口标准

ODLA 是一个为加速深度学习的统一异构硬件编程接口。ODLA 规范了深度学习计算任务的定义和执行，实现上层应用和底层异构硬件平台的解耦，让 AI 异构计算更简单，实践代码“生成一次，随时链接，随处执行”的愿景。

“令人兴奋的新应用程序意味着我们对数据中心的期望比以往任何时候都要更高。我们希望通过使用更广泛的硬件选择，以更大的规模，扩大操作类型范围。ODLA 使我们能够管理这种复杂性，并挖掘出这些出色的新技术的全部潜力。”Graphcore 高级副总裁兼中国区总经理卢涛表示。

阿里云开发 ODLA 是为了解决异构计算中存在许久的一个核心挑战。ODLA 是轻量高效的异构硬件统一接口标准，可在异构计算环境中实现效率最大化。在异构计算环境中，软件框架需要从专业芯片中获得最高性能，需要多种类型处理器在一个通用平台上协同工作，而每种处理器都需要针对其架构和专业知识领域进行某种程度的优化，例如 AI 的稀疏性。API 提供的抽象级别可以适应芯片架构之间的差异。

基于 ODLA 的异构 AI 硬件对接方案

通过 ODLA，在 Graphcore IPU 上技术适配和应用部署的工作量可以实现大幅度降低，且实现效率大幅提升。另外，通过 ODLA 可以更好的与 AI 计算框架进行软硬协同，快速利用现有的编译优化技术，达到最佳性能。对于异构任务，ODLA 充当该系统范围通用语言与特定于架构的优化之间的接口或转换器，该优化可从 Graphcore 的 IPU 等设备实现最佳性能。

对于数据中心运营商而言，除了简化了新微处理器技术的集成之外，ODLA 还带来了其他一系列好处。它支持通用和高性能的数据中心设置，并为高级应用程序提供统一的加速框架。对于应用程序开发人员来说，它减少了对不同架构进行重复优化的需求，并应该可以减少开发成本，缩短产品上市时间。

ODLA 在 2020 云栖大会上宣布的主要特性及优势包含：

透明接口层，零损耗。

接口抽象和统一，软硬件解耦：通过面向 AI 的多粒度算子抽象，定义统一的接口，解耦具体软硬件，平滑迁移业务；实现代码复用，提升开发和部署效率。

多模态执行方式：支持多种执行模式，覆盖解释执行、编译执行、载入预编译代码等场景，兼容各种硬件的运行模式。

AI 全场景支持：支持推理和训练，适配云、边、端全场景 AI 业务；拥有广泛的算子定义和丰富的接口（设备管理、会话管理、执行管理、事件同步 / 异步、资源查询、性能监控等）。

卓越的扩展性，支持 AI 芯片厂家独特属性和自定义算子。

张伟丰博士在云栖大会上宣布开源 ODLA

Graphcore 公司相信，IPU 将成为下一代数据中心 AI 工作负载的核心。我们深知，我们的愿景需要 ODLA 在内的诸多框架和工具，这些框架和工具能使我们的产品与其他同类最佳技术协同工作。

Graphcore 的联合创始人兼首席执行官 Nigel Toon 表示：“ODLA 优雅地满足了 Graphcore 新用户的两个最大需求。一是他们希望轻松地将我们的技术集成到现有的数据中心，二是他们希望确保最终的设置在从各个组件到整个系统的每个层级都能得到高度优化。”
责任编辑:pj