通过稀疏支持和Transformer优化增强AI推理以最小化延迟

由于各行业对实时人工智能应用的需求不断增加，人工智能模型近来变得更加复杂。这需要以最佳方式部署高性能、尖端的推理系统。TensorRT 的最新版本通过引入额外的功能来解决这些问题，从而为其客户提供更增强和响应更灵敏的对话式 AI 应用程序。

NVIDIA TensorRT 8 概述

NVIDIA TensorRT 是一个高性能推理平台，对于利用 NVIDIA Tensor Core GPU 的强大功能至关重要。TensorRT 8 是一个软件开发套件，其增强功能旨在提高性能和准确性，以应对在边缘和嵌入式设备中发生的越来越多的 AI 推理。它允许对 TensorFlow 和 PyTorch 神经网络进行广泛的计算推理。

与纯 CPU 平台相比，TensorRT 可提供高达 40 倍的吞吐量，同时最大限度地减少延迟。它允许您从任何框架开始，并在生产中快速优化、验证和部署经过训练的神经网络。

新版本在 NVIDIA Ampere GPU 上加入了稀疏性，可以修剪对网络整体计算没有贡献的弱连接。此外，TensorRT 8 支持变压器优化和 BERT-Large。Transformer 优化提高了性能，而量化感知训练提高了准确性。

NVIDIA 的 TensorRT 8 有哪些新功能？

推理的目的是从训练阶段尽可能多地保留准确性。训练后的模型可以在硬件设备上运行，以获得客户最低的响应时间和最大的吞吐量。但是，尽可能精确的必要性有时可能会与边缘可用的内存量和吞吐量发生冲突。训练有素、高度准确的模型可能运行速度太慢。

因此，TensorRT 版本 8 结合了深度学习推理应用或经过训练的神经网络模型的最新进展，以了解数据如何影响响​​应。它使用两个主要功能将语言查询推理时间减少一半：

NVIDIA 安培架构的稀疏性

深度神经网络擅长各种任务，例如计算机视觉、语音识别和自然语言处理。随着处理这些神经网络所需的计算能力增加，有效的建模和计算变得越来越重要。

Sparse 是一种适用于具有 NVIDIA Ampere 架构的 GPU 的新性能方法，可通过减少计算过程来提高开发人员的效率。深度学习模型的其他方面不如其他方面重要，有些甚至可以为零。因此，神经网络不需要对特定的权重或参数进行计算。因此，NVIDIA 可以通过使用稀疏性将模型的权重减少近一半来提高性能、吞吐量和延迟。

通过变压器优化减少推理计算

在 TensorRT 8 中，性能增强是通过变压器优化实现的。量化开发人员可以利用经过训练的模型通过 8 位计算 （INT8） 执行推理。这大大减少了 Tensor 核心中的推理计算和存储。INT8 越来越多地用于优化机器学习框架，例如 TensorFlow 和 NVIDIA 的 TensorRT，以减少内存和计算需求。因此，NVIDIA 可以在保持准确性的同时在 Tensor RT 8 上提供非常高的性能。

例如，量化感知训练 （QAT） 有可能使准确率翻倍。因此，与旧版本 TensorRT 7 相比，TensorRT 8 可以将许多模型的性能提高一倍。

ensorRT 部署在众多行业中

TensorRT 更好的性能和准确性使其成为医疗保健、汽车、互联网/电信服务、金融服务和零售等行业的热门选择。例如，Tensor RT 用于为 GE Healthcare 的心血管超声系统供电。这家数字诊断解决方案提供商使用该技术在其 Vivid E95 扫描仪上加速自动心脏视图检测。通过使用改进的视图检测算法，心脏病专家可以在早期阶段做出更准确的诊断和检测疾病。此外，TensorRT 还被 Verizon、福特、美国邮政服务、美国运通等知名公司使用。

随着 Tensor RT 8 的发布，NVIDIA 还公布了谷歌使用 Tensor RT 在 BERT-large 推理方面的突破。Transformers 的双向编码器表示 （BERT） 是一种基于 Transformer 的机器学习技术，用于预训练自然语言处理。BERT-Large 模型的分析时间仅为 1.2 毫秒，可以实时响应自然语言查询。这意味着公司可以将其模型的大小增加一倍或三倍，以获得更高的准确性。

许多推理服务在幕后使用诸如 BERT-Large 之类的语言模型。另一方面，基于语言的应用程序通常无法识别细微差别或情感，从而导致整体体验不佳。现在，公司可以使用 TensorRT 8 在几毫秒内部署整个工作流程。这些突破可以为新一代对话式 AI 应用程序铺平道路，为用户提供更智能和低延迟的体验。

审核编辑：郭婷