侵权投诉

NVIDIA 如何应对会话式AI带来的推理挑战?

墨记 2019-11-08 16:53 次阅读

NVIDIA GPU曾于去年12月和今年7月两度树立了数据中心神经网络训练的性能标杆。今天发布的行业基准测试结果显示,NVIDIA也引领着数据中心内部与外部AI网络的趋势。

NVIDIA Turing GPU和Xavier 芯片系统在首个独立AI推理基准测试 ——MLPerf Inference 0.5中取得第一名。由于推理一直是AI市场中最大、同时也是最具竞争力的领域,业内此前一直希望能够有一套客观的推理性能测试指标。

在参与此次测试的十二家公司中,只有NVIDIA AI平台提交了 MLPerf的全部五项推理测试成绩(MLPerf是一个于2018年5月成立的行业基准测试小组)。这证明了NVIDIA CUDA-X AI和TensorRT软件的成熟程度。它们让用户能够更加轻松地将所有的NVIDIA GPU应用于数据中心、边缘等领域。

MLPerf定义了五项推理基准,涵盖了三个现有的人工智能应用:图像分类、目标检测和翻译。每项基准分为四个场景:与数据中心应用关联性最高的服务器和离线场景,以及用于满足边缘设备地芯片系统需求的单流和多流场景。
图1:NVIDIA在两个数据中心场景(离线和服务器)的全部五项基准测试中均排在第一位,Turing GPU被评为市面上单处理器性能最高的GPU。
图2:NVIDIA Turing在MLPerf数据中心场景中的成绩超过了其他市面上的处理器。
 
离线场景中具有代表性的场景有图像标记等,该场景下所有数据可在本地使用;而服务器场景代表性场景有在线翻译服务等,此场景下会突然或间歇性随机出现数据和请求工作。

Xavier在两个边缘场景(单流和多流)中被评为市面上性能最佳的边缘和移动芯片系统。

工业检测相机主要被用来在快速移动的生产线上发现不合格品,这是一种典型的单流任务。多流场景则是测试芯片能够处理多少个数据源 —— 该性能对于一辆可能需要使用6台以上摄像机的自动驾驶汽车而言,是一项关键的能力。
图3:NVIDIA Xavier在MLPerf边缘场景中成为市面上最佳的边缘和移动芯片系统。
 
该结果显示了NVIDIA CUDA和TensorRT软件的性能。它们为用户提供了一个通用平台,使用户可以在多个产品和应用中取得领先结果,而这正是NVIDIA所独有的能力。

在数据中心场景中,NVIDIA的两款GPU还出现了相互竞争的场面。NVIDIA TITAN RTX 展示了Turing级 GPU的巨大潜力,尤其是在各种要求苛刻的任务中,比如运行用于语言翻译的GNMT模型等。

功能丰富、应用广泛的NVIDIA T4 Tensor Core GPU 在多个场景取得了优秀的成绩。这个功耗仅为70瓦的GPU能够轻松安装到任何带有PCIe槽的服务器中,使用户能够根据需要扩展其计算力,进而大幅扩展其推理工作。

MLPerf已经获得行业和学术界的广泛支持。其成员包括Arm、Facebook、Futurewei、通用汽车、Google、哈佛大学、Intel、MediaTek、微软、NVIDIA及Xilinx。值得一提的是,相比于之前的两次训练比赛,此次基准测试吸引了更多的参与者。

NVIDIA此次共采用了三款产品,共计四种配置参加此次测试,并提交了全部20个场景中的19个场景的成绩,以此表明公司对这项工作的支持。NVIDIA的合作伙伴Dell EMC,以及NVIDIA的客户阿里巴巴同样使用NVIDIA GPU提交了成绩。相比于其他参与者,NVIDIA与合作伙伴和客户一同向用户全面地展示了NVIDIA产品组合的潜力。

全新的视角与产品

推理指的是在实时生产系统中,通过运行AI模型,从大量数据中筛选出可执行洞察的过程。这是一项仍处于发展中的新兴技术,而NVIDIA也在该领域中不断前进,未曾停止脚步。

今天,NVIDIA发布了用于MLPerf测试的Xavier芯片系统低功耗版本——Jetson Xavier NX ,其最大功率仅为15瓦,却具有最高21 TOPS的性能。它将为那些对性能要求高、但功率有限的新一代机器人、无人机和其他自主设备提供驱动力。

除了新的硬件之外,NVIDIA还发布了在MLPerf基准测试中所使用的最新TensorRT 6 优化,并在GitHub上以开源方式为用户提供该软件。用户可以在MLPerf 开发者博客中了解更多关于这些优化的信息。NVIDIA不断地对该软件进行升级,使用户可以从日益增加的AI自动化与性能中获益。

让推理变得更简单

今天的MLPerf测试还说明了一个结论,那就是推理很困难。例如,在实际工作负载中,由于推理还需要大量预处理和后处理步骤,那么在实际工作负载中其对推理性能的需求甚至比基准测试更高。

NVIDIA创始人兼首席执行官黄仁勋在去年GTC大会的主题演讲中就曾将这种复杂性概括为一个词:PLASTER。他表示,现代AI推理对可编程性(Programmability)、延迟性(Latency)、准确性(Accuracy)、模型大小(Accuracy)、吞吐量(Throughput)、能效(Energy efficiency)和学习率(Rate of Learning)的要求很高。

这就是为何用户越来越喜欢使用高性能的NVIDIA GPU和软件来处理各种要求苛刻的推理工作,其中就包括:BMW、Capital One、思科、Expedia、John Deere、微软、PayPal、Pinterest、宝洁、Postmates、Shazam、Snap、Shopify、Twitter、Verizon和沃尔玛等极具远见的公司。

本周,全球最大的邮政服务系统——美国邮政,也加入了此行列,使用NVIDIA GPU进行AI训练和推理。

硬盘制造商希捷希望通过在NVIDIA GPU上运行的AI推理将生产量提高10%。该公司预计,通过提高效率和质量,其将获得高达300%的投资回报。

Pinterest依靠NVIDIA GPU训练和评估其识别模型并对其1750亿条Pin贴文执行实时推理。

Snap使用NVIDIA T4加速器在谷歌云平台上执行推理。相比于仅采用了CPU的系统,这提高了其广告的效果,同时降低了成本。

Twitter发言人就这一趋势表示:“GPU的使用不仅大大缩短了训练时间,还让我们在推理时能够实时了解直播视频,让我们可以在自己的平台上了解各媒体。”

AI会话:关于推理

未来,会话式AI将带来大量的机会以及技术方面的挑战。NVIDIA在这一领域同样是当之无愧的领导者。

NVIDIA已经为会话式AI服务提供了经过优化的参照设计,比如自动语音识别、文本-语言转换和自然语言理解等。NVIDIA们的BERT、GNMT 和Jasper 等AI模型开源优化帮助开发者实现顶尖推理性能。NVIDIA的客户和合作伙伴中包括有会话式AI领域的一流公司,比如Kensho、微软、Nuance、Optum等。

最后要补充的是,MLPerf小组已经开始致力于改进其当前的0.5推理测试。NVIDIA将努力在基准测试中继续发挥领导作用。

收藏 人收藏
分享:

评论

相关推荐

四轴机器人编程与应用

主题简介:本次直播主要讲解四轴机器人控制器基本原理及组成。四轴机器人的核心技术内嵌人工智能算法的工业级运动控制技术和伺服
发表于 10-30 00:00 11587次 阅读
四轴机器人编程与应用

苗圩:制造业是推动经济长期稳定增长的重要支撑

据工业和信息化部消息,11月18日,国家制造强国建设战略咨询委员会主办的“2019国家制造强国建设专....
的头像 牵手一起梦 发表于 11-19 17:23 127次 阅读
苗圩:制造业是推动经济长期稳定增长的重要支撑

如何基于FPGA来构造高性能的图像处理解决方案

随着需求的快速增长,目前数据中心需要处理的图像越来越多,处理内容包括图像转码,像素级的操作、缩略图处....
的头像 LiveVideoStack 发表于 11-19 16:15 24次 阅读
如何基于FPGA来构造高性能的图像处理解决方案

扭矩传感器在机器人上是怎样应用的

随着社会的发展,市场经济的不断完善以及煤油产业快速发展及不断强大和成熟,钻井采矿队伍之间的相互竞争也....
发表于 11-19 15:56 37次 阅读
扭矩传感器在机器人上是怎样应用的

怎样可以让AI超进化

AI并没有人类那样的自我意识,也没有为生存而战的需求。
发表于 11-19 15:52 21次 阅读
怎样可以让AI超进化

儿童智能市场有没有很大的可能性

在人工智能成为国家战略的当下,儿童理应成为技术的最佳受益人和最佳实践者。
发表于 11-19 15:46 16次 阅读
儿童智能市场有没有很大的可能性

我们需要担心华尔街的人工智能吗

人工智能也可以从根本上改变我们金融系统的运作方式。直到我们了解这些变化将如何发挥作用,否则我们将无能....
发表于 11-19 15:37 21次 阅读
我们需要担心华尔街的人工智能吗

智能外呼机器人如何为我们做好营销工作

现阶段云服务提供商大多提供的是云存储、云计算等基础的ICT服务,未来越来越多的企业将更青睐于云服务商....
发表于 11-19 15:33 18次 阅读
智能外呼机器人如何为我们做好营销工作

人工智能和嵌入式两者有怎样的联系

人工智能时代背景下,「嵌入式人工智能」已是大势所驱,「嵌入式人工智能」也正成为当前热门的AI商业化途....
发表于 11-19 15:14 19次 阅读
人工智能和嵌入式两者有怎样的联系

认知智能的落地带来了什么新事物

随着人工智能技术的快速发展,得益于自然语言理解、知识图谱等技术的支撑,传统的信息检索正在向新一代智能....
发表于 11-19 15:10 19次 阅读
认知智能的落地带来了什么新事物

Intel公布正在研发中的通用型GPU 最高可扩展到多达1000个EU执行单元

Intel今天正式公布了正在研发中的通用型GPU Ponte Vecchio,7nm工艺制造,Fov....
发表于 11-19 14:32 34次 阅读
Intel公布正在研发中的通用型GPU 最高可扩展到多达1000个EU执行单元

物联网非常适合解决小数据问题

大数据通常与数据挖掘、人工智能、机器学习、预测分析和其他处理密集型练习相关联,这些训练习侧重于从隐藏....
发表于 11-19 14:15 50次 阅读
物联网非常适合解决小数据问题

智能机器人的研发在往哪一个方向发展

由于智能机器人的快速创新,提供了高潜力和不同功能,因而减少人类工作和提高生产率。
发表于 11-19 11:43 40次 阅读
智能机器人的研发在往哪一个方向发展

智能手机应用处理器上离得开AI吗

随着搭载人工智能(AI)的智能手机应用处理器出货量增速迅猛,表示AI已在智能手机中逐步崛起。
发表于 11-19 11:39 18次 阅读
智能手机应用处理器上离得开AI吗

人工智能如何应用于农业领域,它能起到什么作用

农业人工智能技术可以提高劳动生产率、资源利用率和土地产出率,增强农业抗风险能力,保障国家粮食安全和生....
发表于 11-19 10:12 88次 阅读
人工智能如何应用于农业领域,它能起到什么作用

人工智能技术首次实现多重量子关联的同时分类

从中国科学技术大学获悉,该校郭光灿院士团队成员李传锋、许金时等与国内同行合作,将机器学习技术应用于研....
发表于 11-19 10:08 68次 阅读
人工智能技术首次实现多重量子关联的同时分类

人工智能的发展将引领医疗行业的变革

近年来,随着大数据、云计算、物联网和人工智能技术快速发展和普及,运用“AI+互联网+应用平台”提升医....
发表于 11-19 10:00 151次 阅读
人工智能的发展将引领医疗行业的变革

人工智能技术在学习障碍儿童诊断与干预方面发挥了突破性作用

学习障碍(Learning disabilities,LD)源于神经发育异常,是一种由生物、心理、环....
发表于 11-19 09:30 29次 阅读
人工智能技术在学习障碍儿童诊断与干预方面发挥了突破性作用

人工智能应用于农业 要分为以下几个步骤去走

“农业人工智能技术可以提高劳动生产率、资源利用率和土地产出率,增强农业抗风险能力,保障国家粮食安全和....
发表于 11-19 09:25 41次 阅读
人工智能应用于农业 要分为以下几个步骤去走

英特尔推出Xe架构GPU 专门针对高性能计算和人工智能加速进行优化

英特尔公布了一款基于Xe架构的通用GPU,专门针对高性能计算和人工智能加速进行优化,研发代号为“Po....
发表于 11-19 09:09 80次 阅读
英特尔推出Xe架构GPU 专门针对高性能计算和人工智能加速进行优化

基于语音的虚拟个人助理将驱动音频行业的发展

据麦姆斯咨询介绍,基于语音的虚拟个人助理是当今音频行业的主要驱动力。该新兴应用的一个有趣特性是它可以....
的头像 电子发烧友网工程师 发表于 11-19 08:42 142次 阅读
基于语音的虚拟个人助理将驱动音频行业的发展

AI如何为人类脑力延伸

AI正在成为人类脑力的延伸,助力人类突破空间、时间、表象局限。
发表于 11-18 17:04 74次 阅读
AI如何为人类脑力延伸

智能机器人现在的状况怎样

智能机器人的关键技术包括视觉、传感、人机交互和机电一体化等,可以分为工业机器人和服务机器人。
发表于 11-18 17:01 92次 阅读
智能机器人现在的状况怎样

液态全柔性智能机器人走向哪里

在自动化需求的强劲带动下,全球掀起了一股机器人发展的热潮,形形色色、各具功能的机器人产品,开始频繁出....
发表于 11-18 16:51 44次 阅读
液态全柔性智能机器人走向哪里

安保机器人主要用于什么

尽管这些机器人通常被用来代替人类安保人员(作为友好的巡逻机器人),但它们收集的数据却远远超过人类能收....
发表于 11-18 16:48 87次 阅读
安保机器人主要用于什么

第四届中国人工智能领袖峰会圆满结束

在人工智能方面,深圳将谋划一批重大项目并出台相关配套政策,全方位提升人工智能领域的创新能力、服务能力....
发表于 11-18 16:47 87次 阅读
第四届中国人工智能领袖峰会圆满结束

小易机器人对于改善客服水平有没有帮助

小易机器人已经达到了具备人性化、即插即用,高性价比、实时处理等功能的理想状态,能帮助企业大幅降低合规....
发表于 11-18 16:45 30次 阅读
小易机器人对于改善客服水平有没有帮助

随着人工智能技术的进步 应用于轨道交通将给人们带来更多的便利

随着科技的发展,人工智能技术在全球飞速发展,越来越多的领域也开始了人工智能的运用。人们交通出行方面,....
发表于 11-18 16:41 64次 阅读
随着人工智能技术的进步 应用于轨道交通将给人们带来更多的便利

机器视觉定位技术对工业机器人有什么帮助

对于传统意义上的工业自动化,工业机器人在控制系统的指挥下,重复特定的动作流程完成加工。
发表于 11-18 16:40 40次 阅读
机器视觉定位技术对工业机器人有什么帮助

工业机器人行业在下一个十年会如何的发展

随着汽车市场在中国的大爆发,作为自动化程度最高的行业,逐渐完善的汽车产业集群也推动了中国机器人行业的....
发表于 11-18 16:36 45次 阅读
工业机器人行业在下一个十年会如何的发展

智能分拣机器人如何来规划路径

物流系统是由物流领域中互相关联、互相制约、互相作用的若干组成部分构成的具有某种功能的有机整体
发表于 11-18 16:32 36次 阅读
智能分拣机器人如何来规划路径

扫地机器人的大热对于智能家居发展有影响吗

随着行业的变革和迭代,扫地机器人也呈现出越来越细分化的趋势。
发表于 11-18 16:24 51次 阅读
扫地机器人的大热对于智能家居发展有影响吗

医疗领域的变革需要借助人工智能吗

随着大数据、云计算、物联网和人工智能技术快速发展和普及,运用“AI+互联网+应用平台”提升医疗资源的....
发表于 11-18 16:20 28次 阅读
医疗领域的变革需要借助人工智能吗

人工智能助力智慧社区建设 解决社区管理难题

“智慧社区”是“智慧城市”的基础,人工智能、物联网、云计算、大数据等智能化技术的崛起和应用,正构建起....
发表于 11-18 16:18 50次 阅读
人工智能助力智慧社区建设 解决社区管理难题

可以开始让人成为电子改造人了吗

我们现在距离革命性的大突破只有一两年的时间。未来技术的各个元素早已经被独立地发明了出来,就等一个人把....
发表于 11-18 16:16 18次 阅读
可以开始让人成为电子改造人了吗

房产服务平台营销和服务如何借助机器人的力量

对于大多数房产服务公司而言,招聘困难,人员流动性大,造成投入成本高且回报率低。
发表于 11-18 16:12 21次 阅读
房产服务平台营销和服务如何借助机器人的力量

到处是机器人的医院你见过吗

传感器可以实时跟踪设备和员工,以跟进库存情况。
发表于 11-18 16:04 61次 阅读
到处是机器人的医院你见过吗

景嘉微宣布拟出资95万元与多家公司成立基金管理公司 将提升公司综合竞争能力

近日,景嘉微公布,公司拟使用自有资金95万元与湖南高新创业投资集团有限公司(“湖南高新创投”)、上海....
的头像 半导体动态 发表于 11-18 16:02 175次 阅读
景嘉微宣布拟出资95万元与多家公司成立基金管理公司 将提升公司综合竞争能力

企业如何借助人工智能改变增长方式

人工智能(AI)等新兴技术引领的技术变革正在重塑企业经营增长方式。
发表于 11-18 15:57 92次 阅读
企业如何借助人工智能改变增长方式

Wayve正在开发人工智能 意图为自动驾驶汽车赋予更优AI大脑

来自英国的初创公司Wayve正在开发人工智能,该技术可以教授汽车如何使用强化学习、模拟和计算机视觉进....
发表于 11-18 15:48 79次 阅读
Wayve正在开发人工智能 意图为自动驾驶汽车赋予更优AI大脑

人工智能时代你觉得你会被替代吗

包括走出去留学这件事可能也会发生改变,未来可能通会过互联网的手段把留学中介直接干掉。
发表于 11-18 15:44 27次 阅读
人工智能时代你觉得你会被替代吗

为什么这五个人工智能场景可以受到表扬

通过智能管理平台,居民们还实现了服务项目的扫码线上下单、过程自动监控、服务自动结算、报表自动统计等。
发表于 11-18 15:40 52次 阅读
为什么这五个人工智能场景可以受到表扬

人工智能如何帮助养牛

大数据技术:其中的基础技术包括数据采集、数据预处理及数据库等。在奶牛畜牧养殖中主要用于远程生命体征监....
发表于 11-18 15:33 24次 阅读
人工智能如何帮助养牛

如何成为一个AI大国

作为靠能源发家的卡塔尔,却在AI研究方面有着自己的野心,为了能在未来AI技术的发展中争取赢得一定的话....
发表于 11-18 15:29 26次 阅读
如何成为一个AI大国

人工智能是在黄金时代还是青铜时代

人们对人工智能的负面担忧越来越多,无论是对目前的技术滥用,还是对长期存在的潜在威胁的担忧。
发表于 11-18 15:22 125次 阅读
人工智能是在黄金时代还是青铜时代

虹魔方赵亮做了主题为《OTT价值挖掘》的演讲

虹领金产品是2015年面世的,从上市1.0发展到了4.0,大家可以看到,从1.0诞生开始,整个用户的....
的头像 流媒体网 发表于 11-18 15:14 150次 阅读
虹魔方赵亮做了主题为《OTT价值挖掘》的演讲

中国的AI企业未来会走向何处

人工智能的发展离不开三大要素:大数据、大规模计算能力和深度学习算法
发表于 11-18 15:06 41次 阅读
中国的AI企业未来会走向何处

人工智能+区块链 这种开创性结合的项目得到了相当多的关注

人工智能、区块链都是近年来的热门风口,普华永道预测,到2030年人工智能将为世界经济增加15.7万亿....
发表于 11-18 14:41 46次 阅读
人工智能+区块链 这种开创性结合的项目得到了相当多的关注

预计到2030年 人工智能每年将为全球经济贡献16万亿美元

数十个国家已经对人工智能大举投资,并出台了相关扶持政策;斯坦福大学呼吁美国政府在未来10年向人工智能....
发表于 11-18 14:35 96次 阅读
预计到2030年 人工智能每年将为全球经济贡献16万亿美元

人工智能将成为为经济高质量发展的核心动力

数字经济在经历了从PC的发明和普及,到PC物联网,再到移动互联网,已经进入了以人工智能为核心驱动力的....
发表于 11-18 14:35 30次 阅读
人工智能将成为为经济高质量发展的核心动力

比特大陆AI子公司变更法人 人工智能未来将朝什么方向发展未可知

自10月29日,比特大陆创始人吴忌寒向全体员工发布邮件通知,宣布解除詹克团在比特大陆的一切职务后,1....
发表于 11-18 14:08 46次 阅读
比特大陆AI子公司变更法人 人工智能未来将朝什么方向发展未可知

华为的GPU Turbo技术你知道是什么吗?

华为GPU Turbo揭秘,吓人的技术,原来只是神经网络...
发表于 11-11 06:24 61次 阅读
华为的GPU Turbo技术你知道是什么吗?

NVIDIA 在首个AI推理基准测试中大放异彩

Turing GPU、Xavier芯片系统在MLPerf基准测试中展现了巨大优势 加利福尼亚州圣克拉拉市 —— 2019年11月6日 —— &...
发表于 11-08 19:44 171次 阅读
NVIDIA 在首个AI推理基准测试中大放异彩

为什么基于GPU的二维数组加法灰色的那行会出现报错?

这是基于GPU的二维数组加法。。。然24行,就是灰色的那行,报错too few arguments in function call,但是明明形参数和实参数...
发表于 11-05 22:15 33次 阅读
为什么基于GPU的二维数组加法灰色的那行会出现报错?

【瑞芯微RK1808计算棒试用体验】搭建Linux(Ubuntu18.04)环境试用RK1808

       人工智能已成为各行各业离不开的主题,电子发烧友论坛和瑞芯微电子联合推出的RK1808试用活动让我们...
发表于 10-25 13:05 167次 阅读
【瑞芯微RK1808计算棒试用体验】搭建Linux(Ubuntu18.04)环境试用RK1808

基于ARM9内核的智能灭火机器人怎么设计?

人工智能也称机器智能,是一门研究人类智能机理和如何用计算机模拟人类智能活动的学科。经过50多年的发展,人工智能已形成极广泛...
发表于 10-21 06:39 195次 阅读
基于ARM9内核的智能灭火机器人怎么设计?

AI的核心是什么?

AI概念笼统,范围广大,到底什么才是AI的核心? ...
发表于 10-18 06:39 161次 阅读
AI的核心是什么?

多核处理器能够替代FPGA吗?

Peter认为,鉴于其高性能、易编程及低成本特点,GPGPU技术在许多情况下能够替代FPGA和DSP ...
发表于 10-17 08:07 102次 阅读
多核处理器能够替代FPGA吗?

DragonBoard 410c,基于Qualcomm Snapdragon 410E处理器,四核ARM-Cortex A53

...
发表于 10-16 08:42 430次 阅读
DragonBoard 410c,基于Qualcomm Snapdragon 410E处理器,四核ARM-Cortex A53

什么是Cortex-A75?

时光飞逝,好像在昨天我们才刚发布ARM Cortex-A73这款最节能的高效能Cortex应用处理器,转眼之间我们就看到Cortex-A73量...
发表于 10-15 08:28 171次 阅读
什么是Cortex-A75?

为什么说FPGA是机器深度学习的未来?

  最近几年数据量和可访问性的迅速增长,使得人工智能的算法设计理念发生了转变。人工建立算法的做法被计算机从大量数据中自动...
发表于 10-10 06:45 175次 阅读
为什么说FPGA是机器深度学习的未来?