电子发烧友网报道(文/周凯扬)深度学习硬件在AI时代已经引领了不少设计创新,无论是简单的边缘推理,还是大规模自然语言模型的训练,都有了性能上的突破。作为业内在深度学习上投入最多的公司之一,英伟达无疑是这类硬件的领军者。近日,在伯克利大学的电子工程与电脑科学学院研讨会上,英伟达的首席科学家、研究部门高级副总裁同时兼任该校副教授的Bill Dally,分享了从他这个从业人士看来,发生在深度学习硬件上的一些趋势。AI的浪潮其实早在20世纪就被多次掀起过,但真正成为人们不可忽视的巨浪,还是这十几年的事,因为这时候AI有了天时地利人和:算法与模型,大到足够训练这些模型的数据集,以及能在合理的时间内训练出这些模型的硬件。但从带起第一波深度学习的AlexNet,到如今的GPT-3和Turing NLG等,人们不断在打造更大的数据集和更大的模型,加上大语言模型的兴起,对训练的要求也就越来越高。可在摩尔定律已经放缓的当下,训练时间也在被拉长。基于Hopper架构的H100 GPU / 英伟达以英伟达为例,到了帕斯卡这一代,他们才真正开始考虑单芯片的深度学习性能,并结合到GPU的设计中去,所以才有了Hopper这样超高规格的AI硬件出现。但我们在训练这些模型的时候,并没有在硬件规模上有所减少,仍然需要用到集成了数块Hopper GPU的DGX系统,甚至打造一个超算。很明显,单从硬件这一个方向出发已经有些不够了,至少不是一个“高性价比”的方案。硬件推出后,仍要针对特定的模型进行进一步的软件优化,因此即便是同样的硬件,其AI性能也会在未来呈现数倍的飞跃。从上个月的MLPerf的测试结果就可以看出,在A100 GPU推出的2.5年内,英伟达就靠软件优化实现了最高2.5倍的训练性能提升,当然了最大的性能提升还是得靠H100这样的新硬件来实现。Bill Dally表示这就是英伟达的优势所在,虽然这几年投入进深度学习硬件的资本不少,但随着经济下行,不少投资者已经丧失了信心,所以不少AI硬件初创公司都没能撑下去,他自己也在这段时间看到了不少向英伟达投递过来的简历。他认为不少这些公司都已经打造出了自己的矩阵乘法器,但他们并没有在软件上有足够的投入,所以即便他们一开始给出的指标很好看,也经常拿英伟达的产品作为对比,未来的性能甚至比不过英伟达的上一代硬件,更别说Hopper这类新产品了。相较传统的通用计算硬件,加速器在深度学习上明显要高效多了,因为加速器往往都是作为一种专用单元存在的,比如针对特定的数据类型和运算。加速器可以在一个运算周期内就完成通常需要花上10秒或100秒才能完成的工作量,效率最高可提升1000倍。当然了要追求纯粹的性能提升,而不是效率提升的话,这些加速器也可以采用大规模并行设计,比如典型的32x32矩阵乘法单元,同时运行的运算有了千百倍的提升。加速器在内存设计上也更具有优势,比如针对特定的数据结构和运算,选择优化过的高带宽低能耗内存,同时尽可能使用本地内存,减少数据搬运来控制开销。对于英伟达来说,他们在加速器上的研究更像是为GPU准备的试验田,一旦有优秀的成果出现,这些加速器就会成为GPU上的新核心。从Bill Dally的分享中,我们可以看出英伟达这样的巨头在深度学习上选择的技术路线,以及他们为何能在众多初创公司涌现、大厂入局的当下岿然不动的底气。这并不是说深度学习硬件的道路只有这一条,类脑芯片等技术的出现也提供了新的破局机会,但有了前人经验的借鉴后,在兼顾性能、数值精度、模型的同时,还是得在软件上下大功夫才行。声明:本文由电子发烧友原创,转载请注明以上来源。如需入群交流,请添加微信elecfans999,投稿爆料采访需求,请发邮箱huangjingjing@elecfans.com。
更多热点文章阅读
- 时隔20年,莫斯科人汽车再次复产,背后全是中国车企的影子
- 欧盟超430亿欧元投向芯片领域,对上游半导体设备有何影响?
- 24W以下电源,新型自供电BJT方案将全面取代其他方案?
- 车用芯片不再缺?芯片大厂表示有所缓解,真实情况究竟如何呢?
原文标题:始于硬件却也被硬件所限的深度学习
文章出处:【微信公众号:电子发烧友网】欢迎添加关注!文章转载请注明出处。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
原文标题:始于硬件却也被硬件所限的深度学习
文章出处:【微信号:elecfans,微信公众号:电子发烧友网】欢迎添加关注!文章转载请注明出处。
相关推荐
,这使得它比一般处理器更高效。但是,很难对 FPGA 进行编程,Larzul 希望通过自己公司开发的新平台解决这个问题。
专业的人工智能硬件已经成为了一个独立的产业,但对于什么是深度学习算法的最佳
发表于 03-21 15:19
上一期我们介绍了 【基于深度学习 2D 人脸识别的NXP i.MX 8M Shark 方案】,本期将给大家推出海思硬件设计系列:Hi3566V100 I2C 硬件设计要点。
发表于 12-04 11:38
•767次阅读
计算机硬件
油泼辣子
发布于 :2023年11月23日 16:41:33
深度学习作为机器学习的一个分支,其学习方法可以分为监督学习和无监督学习。两种方法都具有其独特的
发表于 10-09 10:23
•365次阅读
学习笔记|硬件安全属性介绍
发表于 09-26 17:16
•458次阅读
深度学习服务器怎么做 深度学习服务器diy 深度学习服务器主板用什么 随着人工智能的飞速发展,
发表于 08-17 16:11
•550次阅读
深度学习框架和深度学习算法教程 深度学习是机器学习领
发表于 08-17 16:11
•724次阅读
深度学习框架的作用是什么 深度学习是一种计算机技术,它利用人工神经网络来模拟人类的学习过程。由于其高度的精确性和精度,
发表于 08-17 16:10
•1174次阅读
深度学习框架是什么?深度学习框架有哪些? 深度学习框架是一种软件工具,它可以帮助开发者轻松快速
发表于 08-17 16:03
•1784次阅读
什么是深度学习算法?深度学习算法的应用 深度学习算法被认为是人工智能的核心,它是一种模仿人类大脑
发表于 08-17 16:03
•1489次阅读
等领域,以及交叉学科领域,如生物信息学、机器人技术和社会网络分析。 深度学习的基础可以追溯到20世纪40年代,当时Hinton等人提出的神经网络理论为深度学习的提出奠定了基础。然而,在
发表于 08-17 16:02
•1220次阅读
深度学习算法简介 深度学习算法是什么?深度学习算法有哪些? 作为一种现代化、前沿化的技术,
发表于 08-17 16:02
•6832次阅读
硬件设计
学习电子知识
发布于 :2023年07月03日 21:34:10
深度学习框架是用于开发和运行人工智能算法的平台,它为软件人员开发人工智能提供了模块化的基础,一般提供数据输人、编写神经网络模型、训练模型、硬件驱动和部署等多种功能。
发表于 05-16 10:07
•1411次阅读
智造之眼®科学设计深度学习各应用流程,在尽量简化前期准备工作的基础上为客户提供稳定且准确的深度学习解决方案。
发表于 05-04 16:55
•478次阅读
评论