NVIDIA GPU加速AI推理洞察，推动跨行业创新

随着数据集的增长和分析神经网络的复杂化，越来越多的用户选择通过NVIDIA GPU加速AI推理。当前，人工智能的应用正从农业领域扩展到X射线领域，而NVIDIA GPU正是AI推理跨行业创新的助燃剂。

人工智能的应用，正从农业领域拓展医学、X射线等各个领域，原因是因为它们拥有着基于海量数据迅速推断出精明之选的神奇能力。

随着数据集的增长和分析神经网络的复杂化，越来越多的用户选择用NVIDIA GPU来加速AI推理。

想要了解它们的实际应用，看看下面这些家喻户晓的公司产品就能明白。

美国通用的GEResearch在航空、医疗保健、电力和运输行业中部署了使用GPU加速的AI模型。这些模型实现了工厂检查自动化，为智能列车的运行提供保障，并能监控电站以及解释医学图像。

这些AI模型被运行在装载了V100Tensor Core GPU的NVIDIADGX系统上的数据中心服务器上，以及装载了JetsonAGX Xavier模块的边缘计算网络中。该硬件运行NVIDIA的TensorRT推理引擎及其用于深度学习的CUDA/ cuDNN加速库，以及用于Jetson模块的NVIDIAJetPack工具套件。

推理赋能视频应用程序与合同管理

在消费市场上，全球两个最受欢迎的移动视频应用程序均在NVIDIA GPU上运行AI推理。

TikTok及其在中国的前身“抖音”在2019年2月全球下载量达到10亿次。字节跳动作为这两个应用程序的开发者和所有者，每天为4亿活跃用户每天上传多达5000万个新视频。

字节跳动在数千个NVIDIA T4和P4 GPU服务器上运行TensorRT，用户因此可以搜索并获得有关精彩视频的推荐。该公司估计， NVIDIA产品已帮助公司节省了数百万美元，同时将在线服务的延迟减少了一半。

在商业领域，德勤在其dTrax软件中使用AI推理来帮助公司管理复杂的合同。例如，当法规发生变化或公司计划进行大规模收购时，dTrax可以定位并更新长期协议中的关键条款。

当前全球有多家公司使用dTrax。该软件在数据中心的NVIDIA DGX-1系统和云中的AWS P3实例上运行，在2019年获得了《金融时报》的智能商业奖。

GPU加速推理运行速度

金融服务公司Square的测试结果显示，一般模型的推理任务在GPU上的运行速度是CPU的两倍，而在大型模型（例如RoBERTa）上，推理工作的完成速度提升了10倍。

因此，NVIDIA GPU对于其实现将Square Assistant从虚拟调度程序扩展到驱动公司所有产品的对话式AI引擎的目标至关重要。

宝马集团近期宣布将使用NVIDIA Isaac机器人平台开发五种新型机器人，以增强其汽车制造厂的物流水平。其中一款由NVIDIA Jetson AGX Xavier支持的机器人可以每秒执行多达32万亿次操作，以执行诸如感知、姿势估计和路径规划之类的计算机视觉任务。

AI推理也在汽车内部发生。中国的小鹏汽车于4月下旬推出了P7纯电动轿车，它使用NVIDIA DRIVE AGX Xavier通过推理传感器的数据以帮助实现3级自动驾驶功能。

过去三年来，NVIDIA数据中心平台的推理性能提高了近50倍，这在很大程度上要归功于Tensor Core的引入以及TensorRT中正在进行的软件优化以及PyTorch和TensorFlow等AI框架的提速。

来自世界各地的医学专家在2020年GPU技术大会（GTC）上就放射、基因组学、显微学和其他医疗保健领域的AI应用进行了数十次演讲。在一次演讲中，美国放射学院主席杰拉尔丁·麦金提（Geraldine McGinty）将AI称为同时达成提高医疗质量和降低成本的“千载难逢的机会”。

在农业领域，越来越多的初创公司正在使用AI来提高效率。例如，NVIDIA 初创加速计划会员Rabbit Tractors通过在多功能机器人上使用Jetson Nano模块，从摄像头和雷达数据中推断出需要进行播种、浇水或收获作物的位置。

还有其他公司也在通过GPU加速推理，其中包括美国运通的欺诈检测、宝洁的工业检查以及网络巨头的搜索引擎。

AI推理在NVIDIA DGX A100 GPU上的增益高达7倍

GPU推理的潜力在不断上升，准确性不断提高。

借助多实例GPU功能，NVIDIA Ampere架构将推理速度提高了7倍。A100 GPU中支持深度神经网络中稀疏性的新方法有望带来更多收益。这是在A100 GPU的技术概述中讨论的架构的几个新功能之一。