还未设置个性签名
成为VIP会员 享9项特权: 开通会员

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

NVIDIA AI平台在MLPerf基准测试实现飞跃

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 作者:NVIDIA英伟达企业解 2022-07-01 10:52 次阅读

NVIDIA AI 仍是唯一能够运行 MLPerf 行业基准测试中所有测试的平台, A100 GPU 自发布以来连续两年一直保持着获胜次数最多的纪录。

根据今天发布的 MLPerf 基准测试结果, NVIDIA 及其合作伙伴占了所有参赛生态伙伴的 90%,并且继续提供了最佳的整体 AI 训练性能和提交了最多的测试项。

NVIDIA AI 平台覆盖了 MLPerf 训练 2.0 版本中的所有八项基准测试,突显了其领先的通用性。

除 NVIDIA 之外,无其它加速器运行过所有基准测试,这些基准测试代表了流行的 AI 用例,包括语音识别、自然语言处理、推荐系统、目标检测、图像分类等,而 NVIDIA 自 2018 年 12 月向作为行业标准 AI 基准测试的 MLPerf 提交首轮测试结果以来就一直如此。

领先的基准测试结果与可用性

在连续第四次 MLPerf 训练提交结果中,基于 NVIDIA Ampere 架构的 NVIDIA A100 Tensor Core GPU 依然表现出色。

各个提交者平台在每个网络的“最快训练时间”

Selene 是 NVIDIA 内部的一台 AI 超级计算机,它基于模块化的 NVIDIA DGX SuperPOD,并由 NVIDIA A100 GPU、软件堆栈和 NVIDIA InfiniBand 网络驱动,在八项大规模工作负载测试的四项中获得 “最快训练时间” 。

为了计算单芯片性能,该图表将每份提交结果归一化到每个提交者最常见的尺度,检测分数归一化到速度最快的竞争者,最快竞争者显示为 1 倍。

NVIDIA A100 还保持了单芯片性能上的领导地位,在八项测试中的六项测试中呈现了最快的速度。

共有 16 家合作伙伴使用 NVIDIA AI 平台提交了本轮结果,包括华硕、百度、中国科学院自动化研究所、戴尔科技、富士通、技嘉、新华三、慧与、浪潮、联想、宁畅和超微。

NVIDIA 的大多数 OEM 合作伙伴提交了使用 NVIDIA 认证系统得到的结果,这些服务器经过 NVIDIA 验证,能够为企业部署提供出色的性能、可管理性、安全性和可扩展性。

多种模型驱动实际 AI 应用

AI 应用可能需要理解用户说出的要求,对图像进行分类、提出建议并以语音信息的形式作出回应。

即使是上图简单的用例也需要将近 10个模型,这突出了运行每个基准的重要性

这些任务需要多种类型的 AI 模型按顺序工作,用户需要能够快速且灵活地设计、训练、部署和优化这些模型。

这也是为什么通用性(能够在 MLPerf 及其他版本中运行每个模型)以及领先的性能都是将现实世界的 AI 引入入生产的关键。

通过 AI 实现投资回报

对于客户而言,数据科学和工程团队是最宝贵的资源,他们的生产力决定了 AI 基础设施的投资回报。客户必须考虑昂贵的数据科学团队的成本,这通常在部署 AI 的总成本中占比很重,而部署 AI 基础设施本身的成本相对较少。

AI 研究人员的生产力取决于能否快速测试新的想法,这需要通用性来训练任何模型,以及大规模训练模型所能提供的速度。这就是为什么企业关注单位成本的整体生产力,以确定最佳的 AI 平台——更全面的视角,更准确地代表了部署 AI 的真实成本。

此外, AI 基础设施的利用率取决于可替换性,或在单一平台上加速从数据准备到训练再到推理的整个 AI 工作流程的能力。

凭借 NVIDIA AI,客户可以在整个 AI 流程中使用相同的基础设施,重新利用它来适配数据准备、训练和推理之间的不同需求,这极大地提高了利用率,实现了非常高的投资回报率。

随着研究人员发现新的 AI 突破口,支持最新模型创新是最大程度地延长 AI 基础设施使用寿命的关键。

NVIDIA AI 兼容并适用于每个模型、可以扩展到任何规模,并加速从数据准备到训练再到推理的端到端 AI 流程,能够实现最高的单位成本生产力。

今天的结果再次证明了 NVIDIA 在迄今为止所有 MLPerf 训练、推理和 HPC 评测中所展示的丰富而深厚的 AI 专业性。

3 年半内将性能提高 23 倍

自首次基于 A100 提交 MLPerf 基准测试以来的两年时间里,在 NVIDIA 软件堆栈持续优化的推动下, NVIDIA 平台的性能已提高了 6 倍。

自 MLPerf 问世以来,归功于跨 GPU、软件和大规模改进的全栈式创新, NVIDIA AI 平台在 3 年半时间里,在基准测试中实现了 23 倍的性能提升。正是这种对创新的持续追求,让客户确信他们现今投资的 AI 平台将持续服务 3 至 5 年,并将继续推进以适配最先进的技术。

此外, NVIDIA 于 3 月发布的 NVIDIA Hopper架构有望在未来的 MLPerf 基准测评中实现性能的另一巨大飞跃。

NVIDIA 如何做到这一点

软件创新持续释放 NVIDIA Ampere架构的更多性能。

例如,在提交结果中大量使用的 CUDA Graphs,该软件可以最大限度地减少跨多个加速器上运行作业的启动开销。NVIDIA 不同库的内核优化,如 cuDNN 和预处理库 DALI,解锁了额外的加速。NVIDIA 还实现了跨硬件、软件和网络的全栈改进,如 NVIDIA Magnum IO 和 SHARP,将部分 AI 功能卸载到网络中,以获得更好的性能,特别是在大规模的情况中。

NVIDIA 所使用的所有软件均可从 MLPerf 资源库中获取,所有人都可以获得 NVIDIA 的世界级领先成果。NVIDIA 不断地将这些优化集成到 NVIDIA 的 GPU 应用软件中心—— NGC 上提供的容器中,并通过 NVIDIA AI Enterprise 提供完全由 NVIDIA 支持,并经过优化的软件。

从 A100 GPU 两年前首次提交以来, NVIDIA AI 平台继续在 MLPerf 2.0 中提供最高的性能,仍是唯一能够提交所有基准测试的平台。NVIDIA 的下一代 Hopper 架构有望在未来的 MLPerf 评测中实现另一巨大飞跃。

NVIDIA 平台适用于任何规模的模型和框架,并具有可替代性以处理 AI 工作负载的每个部分。它可以在所有云端和主要的服务器制造商上使用。

原文标题:NVIDIA 与合作伙伴在 MLPerf 中展示领先的 AI 性能和通用性

文章出处:【微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

审核编辑:汤梓红

  • NVIDIA
    +关注

    关注

    14

    文章

    2677

    浏览量

    95726
  • gpu
    gpu
    +关注

    关注

    27

    文章

    2841

    浏览量

    116790
  • AI
    AI
    +关注

    关注

    85

    文章

    20403

    浏览量

    238559
  • 基准测试
    +关注

    关注

    0

    文章

    7

    浏览量

    7295
  • MLPerf
    +关注

    关注

    0

    文章

    29

    浏览量

    213
收藏 人收藏

    评论

    相关推荐

    培育20家亿元合作伙伴!华为点燃机器视觉赛道 新战略和新品火爆登场

     电子发烧友原创 章鹰   近期,机器视觉赛道升温,主要有两家公司传来好消息。首先,华为在8月8日正....
    的头像 章鹰观察 发表于 08-14 00:00 233次 阅读
    培育20家亿元合作伙伴!华为点燃机器视觉赛道 新战略和新品火爆登场

    穿梭于货架之间的AI:数百家日本便利店开始使用机器人补货

      总部位于东京的初创企业 Telexistence 本周宣布将在日本数百家全家(FamilyMar....
    发表于 08-12 17:54 54次 阅读
    穿梭于货架之间的AI:数百家日本便利店开始使用机器人补货

    边缘AI推理将覆盖60%设备,莱迪思FPGA+sensAI 4.1组合拳如何打?

    ABI的研究调查表明,预计到2024年设备端的AI推理功能将覆盖近60%的设备。FPGA作为实现边缘....
    的头像 花茶晶晶 发表于 08-12 16:39 398次 阅读
    边缘AI推理将覆盖60%设备,莱迪思FPGA+sensAI 4.1组合拳如何打?

    英伟达AI技术 助体育运动大数据分析和收集提升内容价值

    人工智能在大数据分析应用的作用越来越大,更多的专业数据分析也开始采用上基于英伟达AI 技术来大幅提升....
    的头像 电子麦克风 发表于 08-12 16:32 432次 阅读
    英伟达AI技术 助体育运动大数据分析和收集提升内容价值

    摩尔定律为处理器创新让路

    从数据中心到网络边缘传感器,摩尔定律、冯诺依曼和哈佛在人工智能和图像处理的信号处理新方法方面排名第二
    发表于 08-12 16:04 21次 阅读
    摩尔定律为处理器创新让路

    壁仞科技发布首款通用GPU芯片 苹果智能指环专利曝光

    近日,亚马逊宣布将以约17亿美元的价格收购真空吸尘器制造商iRobot。根据公告,亚马逊表示,将以每....
    的头像 Camsense 发表于 08-12 13:50 139次 阅读

    机器学习更接近您附近的微控制器

    广泛应用于基于云的人工智能,机器学习即将开始出现在微处理器和微控制器硬件中
    发表于 08-12 12:00 0次 阅读
    机器学习更接近您附近的微控制器

    芯动科技风华2号GPU与麒麟操作系统完成互认证

    近期,由芯动科技(INNOSILICON)自主研发的“风华2号”GPU与银河麒麟桌面操作系统全面完成....
    的头像 芯动科技Innosilicon 发表于 08-12 11:37 139次 阅读

    NVIDIA Studio技术如何加速创意工作流

    编辑注:本文是 NVIDIA Studio 创意加速系列的一部分,该系列旨在介绍一些特邀艺术家、提供....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:21 148次 阅读

    NVIDIA SIGGRAPH的最新发布与重要更新

    在今年的 SIGGRAPH 2022 上,NVIDIA 宣布,为基于通用场景描述(USD)连接和构建....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:14 107次 阅读

    NVIDIA谈引发图形革命的三大驱动力

    AI、虚拟世界和数字人正在推动视觉设计进入更宽广的轨道。
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:12 107次 阅读

    NVIDIA Instant NeRF赢得SIGGRAPH最佳论文

    世界各地的开发者和创作者下载了来自 NVIDIA Research 的最新代码,以使用 2D 图像创....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:10 145次 阅读

    全新NVIDIA神经图形SDK助力3D内容创建

    新发布的 NeuralVDB 和 Kaolin Wisp 等十几款工具和程序使数百万设计师和创作者能....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:07 115次 阅读

    配置Python开发环境的DeepStream容器

    对于熟悉 C++ 的开发人员来说,前一篇文章将 DeepStreamSamples 版容器的范例搬到....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:05 125次 阅读

    IP平台支持云连接设备开发

      越来越广泛的高度便携应用平台,如 Linux、Android 和复杂的实时操作系统 (RTOS)....
    的头像 星星科技指导员 发表于 08-12 10:27 31次 阅读

    Kneron的3D AI解决方案满足安全防范和现代化管理需求

    Kneron创办人暨执行长刘峻诚表示:“Kneron致力于发展人工智能在终端装置上的应用,3D AI....
    发表于 08-12 10:15 37次 阅读

    瑞为智慧机场解决方案覆盖全国2/3的千万级机场

    扎根租住行业的7年,深圳市优电智能有限公司(以下简称“优电智能”)的创始团队对这句话的理解应该更加深....
    的头像 瑞为技术Reconova 发表于 08-12 09:02 120次 阅读

    医疗设备3D图形挑战系统硬件开发

      以 3D 形式查看患者图像正在稳步改进治疗选择——更好的数据有助于从手术、创伤情况或常规治疗等各....
    的头像 星星科技指导员 发表于 08-11 17:46 89次 阅读

    使用AI技术改进医学成像

      RDMA 的一个典型用例是超声波。在大多数情况下,超声波利用 FPGA 等前端设备在数据到达 G....
    的头像 星星科技指导员 发表于 08-11 16:37 292次 阅读

    为什么智能医院的医疗级平板电脑

      具有 3D 医学成像功能的 MXM 显卡还将医学成像提升到一个新的水平,并且还允许集成网络摄像头....
    的头像 星星科技指导员 发表于 08-11 15:59 228次 阅读

    通信周动态

    行业相关 1、筑路数字经济 中兴通讯携创新终端产品亮相2022世界5G大会 8月10日,中兴通讯亮相....
    的头像 研精毕智 发表于 08-11 15:33 149次 阅读

    GPU引擎增强了超声检测到的大脑运动计算

      平均而言,GPU 计算位移的时间为 51.50 毫秒,而 CPU 计算的时间为 621.5 毫秒....
    的头像 星星科技指导员 发表于 08-11 15:00 130次 阅读
    GPU引擎增强了超声检测到的大脑运动计算

    下一代人工智能基础设施的特征

    自动驾驶领域在近两年被大家所熟悉,主要的市场诱导因素是Tesla在辅助智能驾驶和采用全视觉技术的影子....
    发表于 08-11 10:02 70次 阅读

    零距离了解昇腾AI的软硬件能力

    旅行中的我们,总是在看一些关于过去的东西,比如自然的造化,历史的遗存。但或许你也会偶尔有个想法,想在....
    的头像 华为数字中国 发表于 08-11 09:54 350次 阅读

    基于昇腾AI的MoloSight针对不同的使用场景提供3种不同版本选择

    近日,基于昇腾AI,摩赛恩与华为携手推出质谱智能计算系统MoloSight,并正式加入昇腾万里伙伴计....
    的头像 华为计算 发表于 08-11 09:49 244次 阅读

    2024年设备端AI推理功能将覆盖近60%的设备

    去年莱迪思发布了sensAI 4.1解决方案,当时介绍的一个典型案例是用于PC智能和感知体验。如今,....
    的头像 电子发烧友网 发表于 08-11 09:32 185次 阅读

    NVIDIA Jetson TX2 NX GPU助力微链DaoAI加速数据处理

    微链 DaoAI是市场领先的3D 视觉和 AI 机器人系统供应商,拥有全球领先的 3D 视觉认知技术....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-11 09:31 131次 阅读

    NVIDIA发布Omniverse重要版本

    NVIDIA 新发布的工具和功能包括:Avatar Cloud Engine;DeepSearch ....
    的头像 NVIDIA英伟达 发表于 08-11 09:29 83次 阅读

    NVIDIA第二季度收入预计约为67亿美元

    NVIDIA 公司宣布截至 2022 年 7 月 31 日的第二季度初步财务报告部分内容。
    的头像 NVIDIA英伟达 发表于 08-11 09:28 98次 阅读

    全新NVIDIA Omniverse ACE加速虚拟形象开发工作

    Omniverse Avatar Cloud Engine(ACE)为游戏、聊天机器人、数字孪生和虚....
    的头像 NVIDIA英伟达 发表于 08-11 09:24 134次 阅读

    NVIDIA发布开源USD资源和测试套件

    在皮克斯、Adobe、Autodesk、西门子以及媒体、游戏、机器人、工业自动化和零售业等领域创新者....
    的头像 NVIDIA英伟达 发表于 08-11 09:22 128次 阅读

    NVIDIA DOCA 1.4版本的主要更新内容

    NVIDIA DOCA 软件框架旨在帮助开发者在当前和未来的 NVIDIA BlueField DP....
    的头像 NVIDIA英伟达 发表于 08-11 09:20 60次 阅读

    NVIDIA 将为StreamLake释放更多视频云计算能力

    8 月 10 日,快手 StreamLake 品牌发布会正式举办,以“云启共生·水润万象”为主题,推....
    的头像 NVIDIA英伟达 发表于 08-11 09:19 140次 阅读

    参天生长大模型:昇腾AI如何强壮模型开发与创新之根?

    自2018年谷歌发布BERT以来,预训练大模型经过几年的发展,以强大的算法效果,席卷了以NLP为代表....
    的头像 脑极体 发表于 08-11 09:10 334次 阅读

    MediaTek APU以DLA VPU为核心 高能效AI赋能全场景体验

    为新趋势而生 MediaTek APU 以深度学习加速器(DLA)、视觉处理单元(VPU),以及基于....
    发表于 08-10 19:30 106次 阅读

    小成本的V853 AI小开发板DIY设计

    全志最新发布的V853芯片拥有1T的NPU算力,还有Arm+RISC-V+NPU三核异构和丰富的音视....
    的头像 全志在线 发表于 08-10 17:36 95次 阅读

    AI+边缘计算,让城市治理难题“看得见”

    国家“十四五”规划纲要强调“加快数字化发展,建设数字中国”,提出“以数字化助推城乡发展和治理模式创新....
    的头像 英码科技 发表于 08-10 16:59 143次 阅读
    AI+边缘计算,让城市治理难题“看得见”

    基于NI USRP高思科技通感一体科研平台 赋能更多细分应用

    随着6G行至深处,作为其关键技术之一的通信感知一体化(ISAC)的研究获得了高度关注。通信感知一体化....
    的头像 恩艾NI知道 发表于 08-10 14:22 341次 阅读

    DesignCon芯片和电路板盛会强调合规性和 AI 辅助测试

    从汽车到物联网,从芯片到电路板等等,降低成本和提高测试可预测性的目标取得了实质性进展
    发表于 08-10 11:33 5次 阅读
    DesignCon芯片和电路板盛会强调合规性和 AI 辅助测试

    怎么使用ARM处理器上的GPU进行编程工作呢

    怎么使用ARM处理器上的GPU进行编程工作呢?有哪位大神可以解释一下 ...
    发表于 08-04 14:17 1706次 阅读

    请问大神如何使用RK3568的自带系统上的GPU呢

    请问大神如何使用RK3568的自带系统上的GPU呢?有什么方法吗 ...
    发表于 07-22 16:27 2342次 阅读

    华秋第八届硬创大赛携手NVIDIA初创加速计划,赋能企业发展

    中国硬件创新创客大赛始于2015年,由深圳华秋电子有限公司主办,至今已经成功举办七届,赛事范围覆盖华南、华东、华北三大地...
    发表于 07-11 11:28 3326次 阅读

    香橙派RK3399开发板OrangePi4 LTS在linux上的GPU测试说明

    1、Linux4.4 和 Linux5.10 Debian 系统 GPU 的测试说明 注意,Linux4.4 Debian10 和 Linux5.10 Debian11 系统使用的...
    发表于 06-22 20:17 16205次 阅读
    香橙派RK3399开发板OrangePi4 LTS在linux上的GPU测试说明

    请问在RK3399pro中间计算时能否调用GPU的一些现成数据库或函数来计算

    我在用RK3399pro的NPU做深度学习计算,使用了两个rknn模型进行推理,但是在这两个rknn模型之间需要进行一些中间计算(从第一...
    发表于 05-09 15:26 3838次 阅读

    tf代码为什么在rk3399上训练比没有gpu的电脑慢很多

    把tf代码从电脑上放到rk3399上运行训练,比电脑慢的很多很多,板子不是带有npu吗?是不是代码需要改动什么啊? ...
    发表于 04-22 16:23 8840次 阅读

    简单介绍下Arm Mali的GPU系列

    对于手机终端来说,GPU图像处理能力是衡量一台手机的性能标杆。首先,是UI流畅性,大家拿到手机都得先划来划去看下UI是否...
    发表于 04-12 11:01 5701次 阅读

    充分利用Arm NN进行GPU推理

    Arm拥有跨所有处理器的计算IP。而且,无论您要在GPU,CPU还是NPU上进行ML推理,都可以在一个通用框架下使用它们:...
    发表于 04-11 17:33 4428次 阅读

    介绍android下的OpenCL开发步骤

    1、介绍android下OpenCL开发 Firefly rk3288采用Mali-T764的GPU,该GPU支持OpeCL 1.1。下面一步一步介绍android...
    发表于 04-11 14:35 2979次 阅读

    英伟达DPU的过“芯”之处

    最近几年,经常关注科技圈的朋友们总会发现,每次遇到厂商有重大发布,就总能看到“颠覆”、“极致”、“革命性”等概念出现在发...
    发表于 03-29 14:42 3116次 阅读