发烧友10周年庆典,全网超值优惠来袭!千元现金券,下单抽奖赶紧参与》》

一款基准测量工具的雏形——MLPerf

论智 2018-05-09 05:41 次阅读

AI基准大战已经开始。

5月2日,由各大领先的科技公司和大学组成的团队发布了一款基准测量工具的雏形——MLPerf,其目的是测量各种AI框架和芯片中不同机器学习任务的训练速度和推理时间。

在这一任务的参与者中,有许多知名公司和大学,其中既有谷歌、英特尔、百度、AMD这样的巨头,也有一些AI硬件创企,例如SambaNova和Wave Computing。同时还有世界顶尖大学:斯坦福大学、哈佛大学、加州大学伯克利分校、明尼苏达大学和多伦多大学。

MLPerf的诞生是小部分公司自我组织进行产品对比的结果。上周,RiseML的博客对比了谷歌的TPUv2和NVIDIA V100的性能。5月4日,英特尔发表博客,展示了为机器翻译所用的RNN的数据,题目称“英特尔Xeon大规模处理器表现出令人惊讶的推理性能”。这种对比会给人一些参考,但通常也会让人觉得供应商自认为比其他厂商优越。而一个标准化的基准可以让测试简单化,得到人们想要的结果。

除此之外,想要跟踪记录各大公司和创企的芯片制造以及软件更新是非常困难的,更不要说在市场的夸大作用下还能进行真实评估了。某些芯片厂商经常承诺达到了革命性的提速,但从来不透露产品规格(咳咳,英特尔注意)。

在很长一段时间内,人们都在讨论是否有必要设立一个有意义的AI基准。支持者认为,标准的缺失限制了AI的应用。MLPerf的推动者之一吴恩达表示:“AI正在改变多个行业,但是为了发挥它最大的潜能,我们仍需要更快的硬件和软件。”支持者们希望基准的确立能帮助AI开发者创造出更好的产品,让使用者充分了解所需产品。

MLPerf声明它的基础目标是:

用公平、有帮助的测量方法加速机器学习的发展

对各竞争系统进行公平对比,以鼓励机器学习的发展

保证让所有人都能参与基准评比

既服务于商业群体,也服务于研究领域

基准要可复制,确保结果的可靠

MLPerf是仿效过去其他的基准测试,例如SPEC(The Standard Performance Evaluation Corporation)。该基准于1988年由一家计算公司的财团提出,它有效提高了通用计算的速度。而MLPerf结合了此前许多基准的标准,例如SPEC的程序,SORT用于对比和培育新思想的方法,DeepBench对软件应用的评估,以及DAWNBench的精确度标准。

Intersect360的CEO Addison Snell注意到:“现在许多企业都想部署AI,所以推出一套中立的基准非常重要,尤其在多种技术争相竞争的时代。但是,AI领域多种多样,我不禁怀疑是否最后只剩一种标准。想想五年前人们对大数据和分析的热情,尽管人人都想定义它,但是至今也没有一个通用的衡量标准。我认为AI也会面临这种情况。”

Hyperion研究公司的高级研究副总裁Steve Conway认为:“MLPerf是一款有用、优秀的工具。因为近些年一直缺少针对买卖双方的真正标准。这个基准似乎是针对人工智能早期问题指定的,大多都是有边界问题。后来我们需要其他标准,因为人工智能开始出现了无边界的问题。有边界的问题比较简单,如语音、图像识别或游戏。而无界线问题包括癌症诊断和阅读磁核共振报告;现在,人工智能能为复杂问题提出推荐方案了。“

MLPerf现已在GitHub上发布,但仍处于初期阶段,为α版本,未来将在许多方面得到改进。目前,MLPerf套件上能进行测试的有七个方面:

每个参考都提供了以下内容:至少在一个框架中实现模型的代码;一个可在container中运行基准测试的Dockerfile;一个可下载适当数据集的脚本;一个可以运行并计时模型训练的脚本;数据集、模型和机器设置的文档记录。

根据GitHub上的记录,基准测试已经在以下配置中进行测试:

16个CPU,一个NVIDIA P100

Ubuntu 16.04,包括具有NVIDIA支持的docker

600GB的硬盘(尽管很多基准要求的硬盘更小)

在这样一个年轻的市场,如果有更多的AI基准出现,那将变得很有趣。例如,斯坦福大学是MLPerf的其中一个成员,他最近运行了第一个DAWNBenchv1深度学习结果。

斯坦福报道说:“2018年4月20日表示第一个衡量深度学习端到端性能的基准和竞争的开始:测量深度学习任务达到最佳精确度时所需要的时间和成本是多少,以及在这个最先进的精确度水平下进行推理的成本是多少。对端到端性能的关注提供了一种客观的方法,用于对计算框架、硬件、优化算法、超参数设置以及影响性能的其他因素进行标准化。”

DAWN的一个竞争对手——fast.ai(一家提供人工智能培训和开发人工智能软件工具的初创公司)在HPCwire上宣传它的产品性能。所以这些基准很重要,应该认真对待,像MLPerf这样的工具能帮助清除AI产品对比中的干扰因素。

“基准提高了产品可信度,并展示了更好的性能或能带来更多益处的地方。如果你正在考虑为一个数百万美元的项目使用硬件加速器或软件框架,那么你会不会更喜欢’榜上有名’的产品?”谷歌工程师Peter Mattson表示。

MLPerf希望用可复制的、公平可靠的基准测量方法来推动机器学习行业和研究的发展。产品之间的对比还应促进供应商和学者之间的竞争。同时还应该为没人提供做实验的条件,让更多人参与其中。

Mattson补充道:“基准在短期内很重要,因为不管是对研发公司还是想要购买产品的公司来说,硬件是一项巨大的投资。长期来看,基准有助于研究者和供应商将性能作为共同的发展目标,这样才能解更多机器学习的能量,造福更多人。”

原文标题:MLPerf——机器学习新基准能否驱动AI向前?

文章出处:【微信号:jqr_AI,微信公众号:论智】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

【5月12】不懂编程没关系,邀请您来学AI

不懂编程没关系,邀请您来学AI活动概述:本活动是现场讲座,由台湾知名AI教育专家、金门创新学院院长、台湾Android技
发表于 05-24 00:00 0次 阅读
【5月12】不懂编程没关系,邀请您来学AI

云化网络如何利用人工智能变得更加智能化

随着云化网络的复杂性和解耦性增强,云化网络重构将给网络运营和运维带来巨大挑战,5G技术变革也将对云化....
发表于 10-14 17:49 52次 阅读
云化网络如何利用人工智能变得更加智能化

人工智能只有统计学吗

人工智能并未朝着我们期望的方向发展,而是更多地走向了统计学的范畴。
发表于 10-14 17:39 36次 阅读
人工智能只有统计学吗

边缘的地理情报如何利用人工智能来掌握

人工智能可以帮助增强地理空间情报任务分配和收集能力,即使在恶劣的环境中也能如此。
发表于 10-14 17:34 42次 阅读
边缘的地理情报如何利用人工智能来掌握

AI武器会怎样改变战争的形式

无人机加入战争意味着,AI深度加入战争的时代已经来临,且将导致重大的伤害和全面的战争升级,AI不介入....
发表于 10-14 16:04 32次 阅读
AI武器会怎样改变战争的形式

物联网+AI+5G会带来什么新商机

5G+AI+边缘计算可创造新的商机,这也引发了业内对构建新的生态联盟的思考。
发表于 10-14 15:54 37次 阅读
物联网+AI+5G会带来什么新商机

在未来AI视频的市场应用将非常广泛

商汤科技与日本最大海运公司商船三井株式会社(MOL)达成了合作,共同开发新型船舶影像识别和记录系统,....
发表于 10-14 15:24 33次 阅读
在未来AI视频的市场应用将非常广泛

新一代人工智能技术将“智”领新生活

何为新一代人工智能?赛迪研究院中国软件评测中心副主任杨春立认为,新一代人工智能,就是数据智能新时代下....
发表于 10-14 15:24 111次 阅读
新一代人工智能技术将“智”领新生活

人工智能时代的到来你准备好了吗

近年来,刷脸支付、无人驾驶汽车、智能机器人等人工智能应用产品走入大众视野,从日臻完善的智慧小镇到万万....
发表于 10-14 15:19 69次 阅读
人工智能时代的到来你准备好了吗

AI的前景还有多大

随着自动驾驶、生物识别、智能机器人等的快速发展和应用,AI的概念早已变得日渐清晰。
发表于 10-14 15:11 46次 阅读
AI的前景还有多大

机器人市场的发展在几年后将迎来大爆发

对于全球工业机器人市场,原来行业的乐观估计是增长10%左右,而中国市场的增速将达到20%~30%,但....
发表于 10-14 15:01 29次 阅读
机器人市场的发展在几年后将迎来大爆发

机器视觉领域有什么新的突破

致力于通过创新研究,使机器具有感知和理解周围世界的能力,并最终实现商业价值。
发表于 10-14 14:29 34次 阅读
机器视觉领域有什么新的突破

AI时代数据价值和隐私之间怎样平衡

基于深度学习算法的AI技术的诞生,让信息时代海量信息与数据第一次完整的为人带来巨大的价值,由此开启人....
发表于 10-14 11:50 61次 阅读
AI时代数据价值和隐私之间怎样平衡

人工智能在出行领域有什么新成就

随着人工智能技术应用落地的成果日益增多,一部分投资机构凭借其敏锐的洞察力,很快发现了人工智能产业发展....
发表于 10-14 11:22 38次 阅读
人工智能在出行领域有什么新成就

嵌入式系统的发展将面临着诸多的挑战

随着物联网、云计算、人工智能等新兴产业的崛起,嵌入式技术的应用越来越广泛,迎来发展的大好时机。据统计....
发表于 10-14 11:17 38次 阅读
嵌入式系统的发展将面临着诸多的挑战

AI核心的难点有哪些

情绪AI有三种类型及其组合。它们都面临着各自的挑战,目前都处于不同的发展阶段。
发表于 10-14 11:13 42次 阅读
AI核心的难点有哪些

人工智能和机器学习对于网络有什么改善

随着网络变得越来越可编程,思科的合作伙伴和开发人员生态系统对于推动创新至关重要。
发表于 10-14 11:02 26次 阅读
人工智能和机器学习对于网络有什么改善

AI拿起笔来会怎么样

新技术的出现推动人类文化变革是毋庸置疑的,但人们总会担心自己被机器取代。
发表于 10-14 10:59 61次 阅读
AI拿起笔来会怎么样

人工智能背后的人工是谁

尽管当前AI技术已经进入落地阶段,但是头部AI企业的落地场景相较传统行业的AI落地场景,在技术上会更....
发表于 10-14 10:55 197次 阅读
人工智能背后的人工是谁

自闭症儿童教育干预如何利用好人工智能

人工智能与特殊教育的深度融合为特殊儿童带来新希望,人工智能为特殊儿童获得“包容性”与“公平性”的教育....
发表于 10-14 10:50 28次 阅读
自闭症儿童教育干预如何利用好人工智能

人工智能技术怎样实现智能写作

AGC则以“智能编辑部”为主,基于AI和大数据,通过智能写作生产关于价格的行情文章、降价信息,以及基....
发表于 10-14 10:47 122次 阅读
人工智能技术怎样实现智能写作

人工智能技术怎样变得更强

未来人工智能的发展也有“综合”的趋势。譬如,语音、图像、视频数据等都可以转换成文字,而 AI 技术则....
发表于 10-14 09:52 27次 阅读
人工智能技术怎样变得更强

AI技术将如何应用于未来的医疗健康领域

在人工智能领域,美国在人才、研究、发展和硬件等方面处于领先位置;中国在AI技术的应用和数据层面具有优....
发表于 10-14 09:23 28次 阅读
AI技术将如何应用于未来的医疗健康领域

一种加速5G和AI开发的新型DSP设计架构

复杂的系统不能被集成到单一的核”他补充说。MSP允许算法工程师选择每个任务的内核数和每个处理器的大小....
的头像 丫丫119 发表于 10-14 08:45 408次 阅读
一种加速5G和AI开发的新型DSP设计架构

机器学习是不是好的工具

机器学习只是作曲家众多辅助工具中的一个,可以简化很多音乐的结构和特点。
发表于 10-13 17:49 32次 阅读
机器学习是不是好的工具

人工智能工具怎样收集垃圾

人们用垃圾这个词来形容没有用途的物品,我们通过图像教会算法识别垃圾,而这些图像中物品的用途往往不明显....
发表于 10-13 17:45 23次 阅读
人工智能工具怎样收集垃圾

5G+AI对于我们的生活会有什么影响

5G将是我国数字经济重要的新引擎,对我国经济的贡献和国家的影响十分可观。
发表于 10-13 17:39 15次 阅读
5G+AI对于我们的生活会有什么影响

AI+时代是下一波浪潮吗

AI 就是用海量的数据来做非常精确的抉择、判断或者分类。
发表于 10-13 17:36 829次 阅读
AI+时代是下一波浪潮吗

人工智能拿起笔会怎么样

人工智能一改“高冷”的形象,化身为多情善感的诗人,改变了人们对文艺创作的传统认知。
发表于 10-13 17:34 170次 阅读
人工智能拿起笔会怎么样

更加准确的天气数据如何提高安全性和能源效率

预防中暑:日本的研究人员正在结合解剖学模型、核心温度算法、热调节反应模型、太阳辐射模型和天气数据,以....
的头像 IEEE电气电子工程师学会 发表于 10-13 16:58 131次 阅读
更加准确的天气数据如何提高安全性和能源效率

未来与人工智能的结合将会是什么样子

人工智能已经有了自己的想法了。AlphaGo就有自己的想法。首先,AlphaGo不仅仅是一个深度学习....
发表于 10-13 08:56 44次 阅读
未来与人工智能的结合将会是什么样子

如何正确看待人工智能的应用前景

人工智能从技术角度通常可分为三个阶段,即计算智能、感知智能和认知智能。在计算智能方面,机器已绝对超过....
发表于 10-13 08:48 52次 阅读
如何正确看待人工智能的应用前景

实体名单对准中国AI企业的原因是什么

中国拥有广袤的市场和海量的数据资源,在AI产业化发展方面具有天然的优势,也促进了中国AI的崛起
发表于 10-12 17:18 88次 阅读
实体名单对准中国AI企业的原因是什么

机器学习对于运营如何可以优化

机器学习和人工智能是当今IT专业人员的热门话题,而在企业的数据中心,它们拥有真正的前景。
发表于 10-12 17:15 86次 阅读
机器学习对于运营如何可以优化

人工智能完成任务的速度可以提高吗

运行人工智能(AI)的数据中心将比使用人工编辑算法时间表的数据中心效率更高。
发表于 10-12 17:06 69次 阅读
人工智能完成任务的速度可以提高吗

海外企业缘何淡出中国安防行业视野

但随着国内安防企业的崛起,以及政策限制下海外安防企业无法有效拓展G端市场、产品定制化程度不足等弊端日....
的头像 倩倩 发表于 10-12 16:17 244次 阅读
海外企业缘何淡出中国安防行业视野

用机器学习对人脸进行打分

利用机器学习进行人脸颜值评分
发表于 10-12 15:11 20次 阅读
用机器学习对人脸进行打分

AI在医学领域的应用有什么突破

在人工智能的帮助下,医学物理师对单一患者的放疗计划时间也可从10小时缩减到15分钟,在提高计划质量的....
发表于 10-12 14:06 61次 阅读
AI在医学领域的应用有什么突破

美国运输司令部为什么采用AI技术

我们仍在努力地让这些系统能够成为原生云,久而久之,整个系统架构也就能迁移成功。
发表于 10-12 11:53 52次 阅读
美国运输司令部为什么采用AI技术

不同于人工智能领域的深度学习或将成为趋势

深度学习不是教育学独有的概念。事实上,这一概念滥觞于20世纪50年代计算机科学的人工智能研究。195....
发表于 10-12 11:50 56次 阅读
不同于人工智能领域的深度学习或将成为趋势

AI会成为未来国家的竞争点吗

每一个中国的科技企业,都必须为中国科技战贡献自己的力量,责无旁贷地需要发挥主体作用,在生产经营中向更....
发表于 10-12 11:34 258次 阅读
AI会成为未来国家的竞争点吗

人工智能诞生的目的是什么

现在的人工智能技术已经覆盖了我们生活中的每个角落,不管是居住的园区还是个人设备,都有着人工智能的身影....
发表于 10-12 11:21 88次 阅读
人工智能诞生的目的是什么

巨头AI音乐大战谁能拔得头筹

除了算法和数据标注上的一些技术手段,我们也在考虑直接对音乐的音频做相应的分析,目的也是能够让AI能对....
发表于 10-12 11:16 53次 阅读
巨头AI音乐大战谁能拔得头筹

可编辑神经网络有什么积极意义

在这种情况下进行编辑意味着在不影响其他输入的情况下,更改输入对子集的模型预测(与错误分类的对象相对应....
发表于 10-12 11:11 44次 阅读
可编辑神经网络有什么积极意义

融合人类与AI的创造力带来什么积极意义

这些网络被称为AttoNets,用于图像分类和实体划分,但也可以作为视频动作识别、视频姿态估计、图像....
发表于 10-12 11:02 27次 阅读
融合人类与AI的创造力带来什么积极意义

企业怎样利用好AI

随着各类AI应用的逐步落地,人工智能在加速企业数字化进程、改善产业链结构、提高信息利用效率等方面潜移....
发表于 10-12 10:15 54次 阅读
企业怎样利用好AI

怎样追寻AI+教育这个风口

AI+教育看上去具有广阔的发展前景,但要产生颠覆性的效果,仍然需要较长的时间。
发表于 10-12 09:51 98次 阅读
怎样追寻AI+教育这个风口

人工智能带来的是好处多还是危害多

随着计算能力的提高,网络性能的提升,人工智能AI的全速发展已经具备了所有的基础条件,那人工智能到底有....
发表于 10-12 09:51 81次 阅读
人工智能带来的是好处多还是危害多

物联网的崛起从哪里可以看出来

产品中的数字服务由数据提供动力支持,所有这些连接产品都带来了大量有关产品使用方式和服务使用情况的数据....
发表于 10-12 09:44 72次 阅读
物联网的崛起从哪里可以看出来

半导体业明年复苏,有望增长5%~8%

中国大陆今年投资下滑,明年在本土及外商投资带动下,有望恢复成长态势。
的头像 墨记 发表于 10-12 09:25 1480次 阅读
半导体业明年复苏,有望增长5%~8%

为什么说FPGA是机器深度学习的未来?

  最近几年数据量和可访问性的迅速增长,使得人工智能的算法设计理念发生了转变。人工建立算法的做法被计算机从大量数据中自动...
发表于 10-10 06:45 57次 阅读
为什么说FPGA是机器深度学习的未来?

机器学习在即时配送领域的应用

机器学习在美团配送系统的实践:用技术还原真实世界...
发表于 10-09 06:10 35次 阅读
机器学习在即时配送领域的应用

50个机器学习实用API干货

还在为找不到机器学习的API而烦恼吗?本篇文章将介绍一个包含50+关于人脸和图像识别,文本分析,NLP,情感分析,语言翻译,...
发表于 10-06 08:00 224次 阅读
50个机器学习实用API干货

阿里妈妈的深度学习演进之路

深度学习如何应用在广告、推荐及搜索业务?阿里妈妈实践案例解读...
发表于 09-29 14:15 60次 阅读
阿里妈妈的深度学习演进之路

通过Excel表格来学习机器学习算法

五步解析机器学习难点—梯度下降【转】
发表于 09-27 11:12 47次 阅读
通过Excel表格来学习机器学习算法

PTB数据集建立语言模型

《实战Google深度学习框架》之RNN学习笔记2 LSTM对PTB数据集的建模...
发表于 09-26 16:21 75次 阅读
PTB数据集建立语言模型

深度学习下的编程语言介绍

再见Python!Yann LeCun警告:深度学习需要新编程语言...
发表于 09-25 16:59 80次 阅读
深度学习下的编程语言介绍

【微信精选】手把手跟我入门机器学习:手写体识别模型

前两篇的连载会以机器学习理论为主,之后的文档就基本是纯实际应用了,不会有太多理论内容了:[ Darknet 训练目标检测模型 ]、[...
发表于 09-23 07:00 752次 阅读
【微信精选】手把手跟我入门机器学习:手写体识别模型

干货 | 这些机器学习算法,你了解几个?

机器学习算法的分类是棘手的,有几种合理的分类,他们可以分为生成/识别,参数/非参数,监督/无监督等。 例如,Scikit-Learn的...
发表于 09-22 08:30 198次 阅读
干货 | 这些机器学习算法,你了解几个?