侵权投诉

AI需要对硬件重新审视

2020-11-09 09:41 次阅读

如今的人工智能存在一个很重要问题:太贵了。训练现代计算机视觉模型Resnet-152的成本大约为100亿浮点运算,这比起现代语言模型相形见绌。

训练OpenAI的最新自然语言模型GPT-3预计耗费3000万亿浮点运算,其中在商用GPU上的成本至少为500万美元。与其相比,人类大脑可以识别面部、回答问题,且只需一杯咖啡就能驾驶汽车。

我们如何做到?

我们已经取得了很大的进展。

第一批电脑的产生有着特殊的目的。1822年,英国数学家查尔斯·巴贝奇(CharlesBabbage)为了计算多项式函数创造了“差分机”。1958年,康奈尔大学教授弗兰克·罗森布拉特(FrankRosenblatt)创造了“MarkI”,这是单层感知器的物理形式,用于机器视觉任务。硬件和算法在早期是同一种东西。

硬件和算法的统一随着冯诺依曼体系架构的出现发生了变化,该架构具备由计算处理单元组成的芯片设计以及储存数据和程序指令的内存单元。这种模式上的转变使得建造可以针对任何任务进行编程的通用机器成为可能。冯诺依曼体系架构已经成为现代数字计算机的蓝图。

但是这里存在矛盾。数据密集型程序需要进行大量内存单元和计算单元间的通信,这会减缓计算速度。这个“冯诺依曼瓶颈”是人工智能早期尝试失败的原因。标准的CPU在深度神经网络的核心计算操作——大型矩阵乘法中效率不高。由于现有硬件的瓶颈,早期的神经网络存在技术搁浅并且表现不佳。

有趣的是,问题的解决办法不是来自学术界,而是来自游戏行业。在1970年代,为加速视频游戏发展而开发的GPU使得数据密集型操作与数千的计算内核并行化。这种并行化是解决冯诺依曼瓶颈的有效办法。GPU使得训练更深层次的神经网络成为可能,并且成为现代人工智能技术现行使用的硬件。

硬件彩票

人工智能领域研究的成功有很大的运气成分。谷歌研究员萨拉·胡克(SaraHooker)称之为“硬件彩票”:早期的AI研究人员非常不幸,因为他们被速度缓慢的CPU困住了腿脚。在GPU出现时碰巧从事AI领域的研究人员“赢得了”硬件彩票。他们可以通过利用GPU的高效加速功能来训练神经网络,从而取得飞速的进展。

硬件彩票所体现的问题在于,一旦这整个领域中的人都成为了赢家,就很难探索出新事物。硬件的发展速度缓慢,需要芯片制造商进行大量回报不确定的前期投资。一个保险的做法就是对矩阵乘法进行优化,这已成为现状。然而长期来说,这种关注于硬件和算法一个特定组合的做法会限制我们的选择。

让我们回到最开始的问题。为什么当今的人工智能如此昂贵?答案可能是我们还不具备合适的硬件。硬件彩票的存在加以商业激励的机制,使得我们在经济上难以摆脱目前的现状。

一个很好的例子是GeoffreyHinton的胶囊神经网络——一种新颖的计算机视觉方法。谷歌研究人员PaulBarham和MichaelIsard发现这种方法在CPU上很有成效,但是在GPU和TPU上效果不佳。

这背后的原因是什么呢?加速器的优化都针对例如标准矩阵乘法等最频繁的操作,但缺少对胶囊卷积的优化。他们得出的结论(同时也是论文的标题)是:机器学习系统陷入困境。

AI研究人员可能会“过度适应”现有的硬件,从长远来看,这将抑制该领域的创新。

前进的道路

“取得下一步的突破可能需要采用一种本质与以往不同的角度:将硬件、软件与算法结合起来对世界进行建模。”

在人脑中,记忆和计算不是两个独立的部分,相反它们发生在同一个地点:神经元中。记忆来源于神经元通过突触连接在一起的方式,而计算来源于神经元触发并传播感官输入的信息的方式。就像早期的计算机一样,硬件和算法是同一个东西。这与我们当今构建人工智能的方法不同。

由GPU和TPU驱动的深度神经网络虽然在当今的许多任务中表现出色,但不是长远办法。也许它们只是硬件与算法的组合体系结构在广阔前景之下的局部最优解。

意识到仅有算法还远远不够是前进道路的开端。下一代的人工智能需要在硬件和算法方面都进行创新。在GPU出现之前,AI研究止步不前。如果没有硬件上的突破,我们可能会再次陷入发展停滞的困境。
责任编辑:YYX

收藏 人收藏
分享:

评论

相关推荐

小鹏汽车深圳成立新科技公司

企查查APP显示,2月24日,深圳小鹏汽车科技有限公司成立,法定代表人为小鹏汽车创始人夏珩,注册资本....
的头像 璟琰乀 发表于 03-01 18:00 9次 阅读
小鹏汽车深圳成立新科技公司

汽车智能化将迎来红利期?

随着人工智能技术的发展,人工智能为产业升级提供了逐渐强大的动能,并在交通、金融、制造、自动驾驶等各个....
的头像 我快闭嘴 发表于 03-01 16:53 165次 阅读
汽车智能化将迎来红利期?

独家!华为司再次申请仓颉语言商标

从鸿蒙到仓颉,受形势所迫,华为似乎不得不从硬件到软件都自己研发。企查查显示,华为技术有限公司再次申请....
的头像 lhl545545 发表于 03-01 16:45 20次 阅读
独家!华为司再次申请仓颉语言商标

2021年十大科技前沿趋势

在新冠肺炎疫情的冲击下,AI技术加速发展,2021年将继续成为企业、政府、科研机构及资本和市场等各方....
的头像 深圳创新设计研究院 发表于 03-01 16:42 70次 阅读
2021年十大科技前沿趋势

国际机器视觉产业发展现状与趋势的详细资料说明

机器视觉的概念起始于20 世纪60 年代, 最先的应用来自“ 机器人”的研制。最早基于视觉的机器系统....
发表于 03-01 16:12 18次 阅读
国际机器视觉产业发展现状与趋势的详细资料说明

Melexis携手宝马深度剖析ToF技术赋能智能座舱

比利时微电子半导体解决方案全球供应商Melexis(迈来芯)在飞行时间(ToF)技术领域拥有丰富的经....
的头像 MEMS 发表于 03-01 15:58 104次 阅读
Melexis携手宝马深度剖析ToF技术赋能智能座舱

五个新兴的人工智能物联网优秀案例

物联网的使用正在激增,预计到今年年底,将有多达500亿台连网设备。与人工智能相结合,这种新技术浪潮可....
的头像 如意 发表于 03-01 15:37 66次 阅读
五个新兴的人工智能物联网优秀案例

这家集成电路公司利用补助上市十年的公司仅亏损一年

在智能手表中,华米手表因为续航时间较长的优势,多次在智能手表产业中获得NO.1的位置,然而,其核心优....
的头像 璟琰乀 发表于 03-01 15:35 77次 阅读
这家集成电路公司利用补助上市十年的公司仅亏损一年

集萃感知“慧海”多目标跟踪交通雷达,为智能交通“引航”

77GHz频段中76-77GHz频段可用于远程车载雷达,并且该频段有等效同性各向辐射功率(EIRP)....
的头像 MEMS 发表于 03-01 15:34 99次 阅读
集萃感知“慧海”多目标跟踪交通雷达,为智能交通“引航”

商汤科技开启“智慧物业”时代,让社区生活充满“AI”

联合实验室将充分融合商汤行业领先的原创AI技术优势与蓝光嘉宝服务丰富的社区服务场景和经验优势,针对社....
发表于 03-01 15:34 47次 阅读
商汤科技开启“智慧物业”时代,让社区生活充满“AI”

英伟达又一次站上人工智能的风口

得益于公司成立以来对GPU的专注和对CUDA生态十年如一日的坚持,英伟达公司终于在最近几年走上了巅峰....
的头像 我快闭嘴 发表于 03-01 14:58 219次 阅读
英伟达又一次站上人工智能的风口

曼孚科技加入浪潮“元脑生态”,10倍加速自动驾驶开发数据处理

近日,业内领先的AI数据解决方案提供商曼孚科技加入浪潮“元脑生态”,将以AI数据能力携手元脑伙伴,共....
的头像 璟琰乀 发表于 03-01 14:39 102次 阅读
曼孚科技加入浪潮“元脑生态”,10倍加速自动驾驶开发数据处理

如何利用人工智能推进芯片开发?

一年前,ZDNet 与Google Brain总监Jeff Dean 谈了有关该公司如何利用人工智能....
的头像 我快闭嘴 发表于 03-01 14:38 74次 阅读
如何利用人工智能推进芯片开发?

贝瑞基因:提前布局占据高点,积极推进三代测序临床

凯瑟琳·伍德专注于识别那些被误解和被忽视的股票,她认为DNA测序、机器人技术、能源储存、人工智能和区....
的头像 MEMS 发表于 03-01 14:38 87次 阅读
贝瑞基因:提前布局占据高点,积极推进三代测序临床

智能家居目前处于哪个阶段?都有哪些行业难题

智能家居发展看起来任重道远,但行业发展总是有迹可循,且不断向前。智能家居目前处于哪个阶段?都有哪些行....
发表于 03-01 14:23 79次 阅读
智能家居目前处于哪个阶段?都有哪些行业难题

5个新兴的人工智能物联网应用

物联网的使用正在激增,预计到今年年底,将有多达500亿台连网设备。与人工智能相结合,这种新技术浪潮可....
的头像 电子魔法师 发表于 03-01 11:45 94次 阅读
5个新兴的人工智能物联网应用

浅谈2021年智能机器人的发展趋势

2020年是“十三五”规划收官之年,2021年是“十四五”规划开局之年。值此辞旧迎新之际,达闼科技C....
的头像 我快闭嘴 发表于 03-01 11:27 307次 阅读
浅谈2021年智能机器人的发展趋势

人工智能成为推动经济发展的新引擎

近年来,移动互联网、云计算、人工智能、物联网、5G等技术日益成熟,并广泛应用于各行各业的方方面面,在....
的头像 电子魔法师 发表于 03-01 11:25 250次 阅读
人工智能成为推动经济发展的新引擎

浅谈新一代移动通信技术和产业发展

为期三天的2021 MWC上海展已于上周落幕,今天就让我们与您一同回顾下2021上海展上的大咖之声,....
发表于 03-01 11:03 240次 阅读
浅谈新一代移动通信技术和产业发展

AI边缘芯片的市场有哪些挑战

边缘计算虽然是当下的科技难题,但也为IT架构师和嵌入式开发人员提供了更多的选择,最终,边缘计算将会演....
的头像 电子魔法师 发表于 03-01 10:48 191次 阅读
AI边缘芯片的市场有哪些挑战

建设“智慧茅台”从顶层规划设计开始

众所周知,企业数字化转型是一个复杂的系统工程,其中顶层设计更是起着把方向、定目标、绘蓝图、指路径的重....
的头像 华为 发表于 03-01 10:36 51次 阅读
建设“智慧茅台”从顶层规划设计开始

华为正式上架AI全彩摄像头2K版

华为智选小豚当家AI全彩摄像头2K版全新升级,升级不升价,现华为商城已正式上架,3.1-3.2限时直....
发表于 03-01 10:33 125次 阅读
华为正式上架AI全彩摄像头2K版

华为副董事长胡厚崑发表了《创新,点亮未来》的主题演讲

2020年突如其来的疫情对整个社会带来前所未有的冲击。世界卫生组织的统计显示,去年有超过100个国家....
的头像 华为 发表于 03-01 10:15 146次 阅读
华为副董事长胡厚崑发表了《创新,点亮未来》的主题演讲

全球服务机器人需求剧增,前景可观

近年来,随着人工智能技术发展,机器人迎来最好的发展时期。在世界工厂有超过270万台工业机器人在运行,....
的头像 电子魔法师 发表于 03-01 10:12 266次 阅读
全球服务机器人需求剧增,前景可观

英伟达公布2021财年Q4及全年财报

2021财年Q4对英伟达来说,是又一个创纪录的季度:营收为50亿美元,同比增长61%,环比增长6%。....
的头像 我快闭嘴 发表于 03-01 09:38 247次 阅读
英伟达公布2021财年Q4及全年财报

人工智能加速商业化、探求更多的应用场景落地

在蛰伏多年后,曾经的互联网三巨头的百度于本月市值首次破千亿美元。此次百度市值创下新高,与其多年布局人....
的头像 电子魔法师 发表于 03-01 09:35 403次 阅读
人工智能加速商业化、探求更多的应用场景落地

中国人工智能发展的压力分析

人工智能(AI),是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的技术科学。
发表于 03-01 09:35 177次 阅读
中国人工智能发展的压力分析

全球人工智能技术迈入深度学习阶段,商业化加速应用场景愈发丰富

当前,国内外互联网巨头纷纷将人工智能作为下一次产业革命的突破口,积极加大投资布局,与此同时,随着人工....
的头像 牵手一起梦 发表于 02-28 11:22 1899次 阅读
全球人工智能技术迈入深度学习阶段,商业化加速应用场景愈发丰富

中国AFS大灯渗透率远高于ADB大灯,AFS大灯占总需求比重达81%

智能大灯及智能前大灯,是一种智能前照灯光系统,前照灯智能自适应照明是汽车主动安全系统(即预防事故) ....
的头像 牵手一起梦 发表于 02-28 11:07 968次 阅读
中国AFS大灯渗透率远高于ADB大灯,AFS大灯占总需求比重达81%

中国录音笔行业市场规模增速加快,市场同比增长10.1%

录音笔是一种主要功能为录音的数码设备,其中录音是通过对模拟信号的采样、编码将模拟信号通过数模转换器转....
的头像 牵手一起梦 发表于 02-28 10:24 655次 阅读
中国录音笔行业市场规模增速加快,市场同比增长10.1%

AI+医疗政策助推,促行业快速发展

医疗人工智能产业上游主要是为行业提供基础技术支持的行业,如医疗数据挖掘、算法等,典型企业有碳云智能、....
的头像 牵手一起梦 发表于 02-28 10:19 861次 阅读
AI+医疗政策助推,促行业快速发展

AI商业化场景加速落地,行业龙头拓宽应用边界

更加聪明的AI扫地机器人,懂用户所想的AI推荐算法、创意无限的手机AI拍照……这两年,AI不再只是人....
的头像 牵手一起梦 发表于 02-28 09:40 811次 阅读
AI商业化场景加速落地,行业龙头拓宽应用边界

上汽集团将与地平线合作打造并量产其下一代自动驾驶技术

随著中国政府加快执行以国产芯片取代外国芯片的计划,中国最大汽车制造商上汽集团将在自驾车中使用中国芯片....
的头像 我快闭嘴 发表于 02-27 11:36 1724次 阅读
上汽集团将与地平线合作打造并量产其下一代自动驾驶技术

如何在网络中有效地更安全使用AI?

进入2021年,随着越来越多的组织采用新技术,人工智能在技术和网络安全方面的未来将继续发展。根据最近....
的头像 如意 发表于 02-26 16:42 270次 阅读
如何在网络中有效地更安全使用AI?

寒武纪首颗7nm AI训练芯片实现量产

作为中国芯片产业的新黑马,成立于2016年的寒武纪,短短几年来便显露锋芒,并在2020年7月成功登陆....
的头像 我快闭嘴 发表于 02-26 16:06 467次 阅读
寒武纪首颗7nm AI训练芯片实现量产

2021世界移动通信大会探索5G商用进程

在过去的2020年,中国新建了60万个5G基站,总数超过71.8万个。中国工信部相关负责人表示,在新....
发表于 02-26 15:43 486次 阅读
2021世界移动通信大会探索5G商用进程

2021年七个值得关注的人工智能趋势

人工智能技术如今得到越来越多的应用,从研发疫苗到在线购物再到农业种植,人们期望在2021年看到更多的....
的头像 如意 发表于 02-26 15:37 405次 阅读
2021年七个值得关注的人工智能趋势

报道称百度正在计划成立独立芯片业务子公司

上周,CNBC报道称百度正在计划成立独立的芯片业务子公司,并且已经在和GGV、IDG等一线投资机构洽....
的头像 传感器技术 发表于 02-26 14:39 370次 阅读
报道称百度正在计划成立独立芯片业务子公司

解析“德国造AI”的发展逻辑和困局

“他者”是后殖民主义时期学术界对近代“西方中心主义”的一个批判概念,处于中心立场的“主体”和位于边缘....
的头像 我快闭嘴 发表于 02-26 14:34 313次 阅读
解析“德国造AI”的发展逻辑和困局

IEEE机器人与自动化协会公布了2021年度获奖名单

优必选深圳研究院是优必选科技的机器人学与人工智能核心技术的研发中心,其研究领域包括了感知视觉、语音技....
的头像 机器人大讲堂 发表于 02-26 14:29 215次 阅读
IEEE机器人与自动化协会公布了2021年度获奖名单

蜂巢能源宣布获得35亿人民币A轮融资

蜂巢能源宣布获得35亿人民币的A轮融资,由中银投、国投招商联合领投,其他投资方包括金融街资本、常州创....
的头像 我快闭嘴 发表于 02-26 14:28 528次 阅读
蜂巢能源宣布获得35亿人民币A轮融资

科大讯飞能否凭借教育场景实现快速增长?

“高位减持、低位增持”的操作在A股市场上屡见不鲜,但公司实控人自掏腰包在高位增持自家股票,确实少有。
的头像 我快闭嘴 发表于 02-26 14:17 1557次 阅读
科大讯飞能否凭借教育场景实现快速增长?

快讯:美的库卡22.97亿元控股万东医疗

近日,万东医疗发布公告称,美的集团以22.97亿元的价格受让万东医疗控股股东江苏鱼跃科技发展有限公司....
的头像 机器人大讲堂 发表于 02-26 14:14 173次 阅读
快讯:美的库卡22.97亿元控股万东医疗

哪些地方用到差分线?

什么是差分线 差分线有什么用 哪些地方用到差分线 高速差分线设计的硬件要求 ...
发表于 02-25 06:26 0次 阅读
哪些地方用到差分线?

嵌入式开发中的一些硬件相关的概念有哪些

做嵌入式系统开发,经常要接触硬件。做嵌入式开发对数字电路和模拟电路要有一定的了解。这样才能深入的研究下去。下面我们简单的...
发表于 02-24 08:56 0次 阅读
嵌入式开发中的一些硬件相关的概念有哪些

自动驾驶车辆中AI面临的挑战

自动驾驶车辆中采用的AI算法 自动驾驶车辆中AI面临的挑战 ...
发表于 02-22 06:39 0次 阅读
自动驾驶车辆中AI面临的挑战

2021年的人工智能产业预测

2020年是充满动荡的一年,组织面临着众多挑战。进入2021年,人工智能行业将会快速发展。为了对2021年的重要新趋势有所了解,行业...
发表于 02-19 07:40 0次 阅读
2021年的人工智能产业预测

音乐彩灯的设计资料

非常不错的资料彩灯设计参考资料 资料来自网络资源 ...
发表于 02-06 22:34 1363次 阅读
音乐彩灯的设计资料

MOS管问题

我想咨询下,各位,图片里的(1)G与S连个电容起到什么作用。 (3号处)的电容是起到什么作用、(改变2号和3号)会对(1号)有...
发表于 02-05 16:31 1213次 阅读
MOS管问题

软件是怎么控制硬件的

软件是怎么控制硬件的
发表于 02-02 06:46 0次 阅读
软件是怎么控制硬件的

2021第四届人工智能大会

发表于 02-01 10:32 101次 阅读
2021第四届人工智能大会

2021第五届人工智能技术与应用论坛

发表于 02-01 10:12 202次 阅读
2021第五届人工智能技术与应用论坛

如何提高人工智能应用开发的生产效率

让AI无处不在,Arm中国“周易”人工智能平台有何绝招...
发表于 02-01 07:10 0次 阅读
如何提高人工智能应用开发的生产效率