解决计算机视觉深度学习应用的性能瓶颈问题

在CVPR 2018大会上，英伟达开源了数据增强和数据解码的两个新的库：

NVIDIA DALI：一个GPU加速的数据增强和图像加载库，用于优化深度学习框架的数据pipeline

NVIDIA nvJPEG：一个高性能的GPU加速的图像解码库

由深度学习驱动的计算机视觉应用程序包括复杂的、多阶段的预处理数据pipeline，包括计算密集型的步骤，例如从磁盘加载和提取数据、解码、裁剪和调整大小、颜色和空间变换以及格式转换。

通过使用GPU加速数据增强，NVIDIA DALI解决了当今计算机视觉深度学习应用程序中的性能瓶颈问题，这些应用程序包括复杂的多阶段数据增强步骤。借助DALI，深度学习研究人员可以通过MXNet、TensorFlow和PyTorch在AWS P3 8 GPU实例或Volta GPU的DGX-1系统上提高图像分类模型（比如ResNet-50）的训练性能。由于可以跨框架实现高性能的数据加载和增强，框架用户将能够减少代码重复。

DALI依赖于新的NVIDIA nvJPEG库进行高性能的GPU加速解码。

DALI的优势包括：

能与MxNet，TensorFlow和PyTorch的框架直接集成

具有支持多种数据格式（如JPEG，原始格式，LMDB，RecordIO和TFRecord）的便携式训练工作流

具有可配置图形和自定义操作符的自定义数据pipeline

使用nvJPEG进行高性能的单图像解码和批量JPEG解码

nvJPEG是一个用于JPEG解码的高性能GPU加速库。nvJPEG支持同时使用CPU和GPU对单个图像和批量图像进行解码、颜色空间转换、多相位解码，以及混合解码。与只使用CPU解码相比，使用nvJPEG进行解码的应用程序具有更高的吞吐量和更低的延迟。

nvJPEG为计算机视觉应用中常用的JPEG格式提供低延迟解码器，如图像分类、物体检测和图像分割等应用。对于深度学习训练应用，nvJPEG可以加速数据加载和预处理，如平移、缩小，放大，翻转等。对于需要低延迟深度学习推理的应用，nvJPEG可用于实时地进行JPEG解码和调整大小。

nvJPEG的优势包括：

使用CPU和GPU进行混合解码

可以进行单个图像解码和批量图像解码

色彩空间可以转换为RGB，BGR，RGBI，BGRI和YUV

单相位解码和多相位解码

DALI已经开源，可以从GitHub获取：

https://github.com/NVIDIA/dali

nvJPEG预发行版也已经可以免费下载，用于收集反馈和测试，今年晚些时候会作为CUDA工具包的一部分提供。