用于深度学习推理的高性能工具包

近年来，深度神经网络在将计算机视觉算法的准确性提升到一个新的水平方面取得了重大进展。OpenVINO 工具包就是这样一个例子，它可以在提供高性能的同时优化 DNN 模型。

英特尔发布了最新版本（2022.1）的OpenVINO工具包，为任何地方的开发人员提供了更简单的部署。OpenVINO是“开放式视觉推理和神经网络优化”的缩写，是一个跨平台的深度学习工具包，提供额外的深度学习模型，设备可移植性和更高的推理性能，更少的代码更改。它专注于通过一次写入，随处部署的方法增强深度神经网络推理，从而优化应用程序的开发生命周期。

该工具包有两个版本，一个是开源的开放VINO工具包，另一个是英特尔发行版的开放VINO工具包。OpenVINO工具包主要用于开发各种问题的快速解决方案，例如模拟人类视觉，语音识别，自然语言处理，推荐系统等。它为开发人员提供了一种更简单的替代方案，可以在其AI界面上工作并采用和维护其代码。OpenVINO建立在最新一代人工神经网络（ANN）的基础上，例如卷积神经网络（CNN）以及循环和基于注意力的网络。

在英特尔硬件中，OpenVINO 包含计算机视觉和非计算机视觉工作负载。通过其众多功能，它可确保最佳性能并加快应用程序开发。它提供来自其自己的开放模型库的预训练模型，该动物园提供优化的模型。OpenVINO 提供了模型优化器 API，可以转换您提供的模型并为推理做好准备。推理引擎允许用户通过编译优化的网络并管理特定设备上的推理操作来调整性能。由于该工具包与大多数框架兼容，因此干扰最小，性能最高。

OpenVINO 工具包的应用程序，该工具包使用计算机视觉进行入侵检测。英特尔的 OpenVINO 工具包分发版旨在促进和简化高性能计算机视觉和深度学习推理应用的开发、创建和部署，这些应用适用于广泛使用的英特尔平台。OpenVINO 的应用范围从自动化和安全到农业、医疗保健等等。

版本 2022.1 的功能

此版本为以前的版本 2021.3 提供了错误修复和功能更改。

已更新、更干净的 API

这个新版本使维护开发人员的代码变得更加容易。它可以与张量流约定集成，以最大限度地减少转换。此版本减少了模型优化器中的 API 参数，以最大程度地降低复杂性。另一方面，在开放式神经网络交换 （ONNX*） 模型上进行模型转换的性能已得到显著提高。

更广泛的模型支持

用户可以在更广泛的深度学习模型中轻松部署应用程序，包括自然语言处理 （NLP）、双精度和计算机视觉。这些预训练的模型专注于 NLP 和额外的异常检测类别，可用于工业检查、降噪、问答、翻译和文本到语音转换。

便携性和性能

此版本通过跨 CPU、GPU 等的自动设备发现、负载平衡和动态推理并行性，有望提升性能。

开放VINO工具包附加组件

计算机视觉注释工具

数据集管理框架

深度学习主播

神经网络压缩框架

开放维诺模型服务器

开放维诺安全附加组件

培训扩展

开放维诺的工作

OpenVINO工具包由各种开发和部署工具组成，其中包括一组完全配置的预训练模型和用于评估的硬件。以下步骤描述了开放VINO的工作原理：

先决条件：设置开放酒庄

在开始使用实际工作流之前，请确保选择主机、目标平台和模型。该工具支持操作系统，如Linux，Windows，macOS和拉斯比安。至于深度学习模型训练框架，它支持张量流，卡菲，MXNet，Kaldi以及开放神经网络交换（ONNX）模型格式。

步骤 1：训练模型

第一步是准备和训练深度学习模型。您可以从开放模型动物园中找到预先训练的模型，也可以构建自己的模型。OpenVINO 为公共模型提供经过验证的支持，并在存储库中提供一系列代码示例和演示。可以使用脚本为用于训练模型的框架配置模型优化器。

步骤 2：转换和优化模型

配置模型后，可以运行模型优化器将模型转换为中间表示 （IR），中间表示形式以一对文件（.xml和.bin）表示。除了文件对（.xml和.bin），模型优化器还通过输出诊断消息来帮助进一步优化。

步骤 3：针对性能进行调整

在此步骤中，推理引擎用于编译优化的模型。推理引擎是一个高级（C、C++ 或 Python*）推理 API，作为每种硬件类型的动态加载插件实现。它为每个硬件提供最佳性能，而无需维护多个代码路径。

步骤 4：部署应用程序

推理引擎用于部署应用程序。使用部署管理器，可以通过将模型、IR 文件、应用程序和关联的依赖项组装到目标设备的运行时包中来创建开发包。

总而言之，这个新版本的OpenVINO工具包提供了许多好处，不仅优化了用户部署应用程序的体验，还增强了性能参数。它使用户能够开发具有轻松部署、更多深度学习模型、更多设备可移植性以及更少代码更改的更高推理性能的应用程序。

审核编辑：郭婷