电子发烧友网报道(文/周凯扬)从最近英伟达公布的财报中就可以看出,AI应用的火热使其赚得盆满钵满,原本就在AI软硬件生态称王的英伟达,现今更是如日中天。而这样的处境也让不少AI芯片初创公司不好过,他们的产品有的还没落地,有的则难以与A100、H100这样的产品匹敌。这几年沉寂下去的AI芯片初创公司着实不少,但还是有的厂商敢于继续往这个市场里钻。
水平扩展性的限制
随着AI/ML的模型越来越大,甚至是以5年内翻4万倍的速度提升,要想在硬件上跟上软件进度已经越来越难了。可即便如此,从16nm到4nm,从低精度到脉动阵列,都给了我们巨大的优势去追随这些大模型。
但运行这些大模型终究不是靠单个芯片的力量,而是整个规模集群需要面临的问题,所以这就牵扯到了水平扩展性。工艺制程的提高带来了5倍的性能提升,芯片架构带来了14倍的性能提升,而水平扩展则要实现600倍的性能提升,才能满足未来的AI/ML计算要求。这也就是目前AI计算存在的问题,大模型往往需要更大的内存、更高的算力和更大的带宽,随着设备数量越多,这三大硬件要求的分配复杂程度就变得越来越高。
比如在GPU上就已经尝试了不少并行扩展方案,比如数据并行、流水线模型并行或张量模型并行等,但以上方案往往都会受到内存、带宽和参数量的限制,并没有单一通用的解决方案,大模型往往需要同时结合这三种方案,所以扩展效率不高。AI芯片公司Cerebras则想出了一个在大规模集群下提高水平扩展性的解决方案。
Cerebras的WSE
要说在AI芯片的初创公司里,走着独立无二路线的公司,Cerebras绝对能排得上名号。2019年,他们推出了WSE,一个晶圆大小的AI处理器,到了2021年,他们又推出了第二代的WSE-2,采用更先进的工艺将单个处理器的核心数推进至85万核。而这次Hot Chips上,他们则展示了用于对抗英伟达的解决方案。
WSE-2与GPU大小对比 / Cerebras
Cerebras选择了将内存和计算解耦的方案,利用内存扩展技术MemoryX,将模型权重存储在外部,然后将权重传输给WSE-2组成的CS-2系统,CS-2再将梯度传给外部存储。Cerebras还打造了一个互联方案SwarmX,用于连接多个CS-2系统,从而提高扩展性。
以Cerebras搭建的Andromeda超算为例,该超算由16个CS-2系统组成,拥有1350万个AI优化核心,稀疏算力高达1ExaFLOPs,稠密算力高达120PetaFLOPs。在这样强大的算力下,训练大模型只要几周的时间。而且在Cerebras不同规模的集群上,不同参数的大模型可以共享同样的代码,以同样的方式训练,省去了不少开发时间。
除了Andromeda以外,Cerebras也已经开始了下一个AI超算的部署,由64个CS-2系统组成的Condor Galaxy 1,该超算的算力将扩展至4ExaFLOPs的稀疏算力。而Condor Galaxy 1名字后的1,也意味着这仅仅是单个超算中心所用的系统而已,未来他们计划在2024年底之前扩展为9个超算中心,分布在美国各地,构建最大的分布式超算网络,总算力高达36ExaFLOPs,是英伟达Israel-1超算的9倍,是谷歌最大TPUv4集群的4倍。
写在最后
单从扩展性和性能的角度来看,Cerebras确实已经做到了一个新的高度。但对于购置这些GPU或AI芯片的云服务或互联网公司来说,GPU或许是一个更加通用的资源,在AI技术日新月异的当下,GPU总能凭借自己的软硬件生态快速找到自己的一席之地,并在高性能的王座上稳坐一段时间。这也就是AI爆款应用的市场导向决定的了,性能固然重要,但抢占先机才是最关键的一环。
水平扩展性的限制
随着AI/ML的模型越来越大,甚至是以5年内翻4万倍的速度提升,要想在硬件上跟上软件进度已经越来越难了。可即便如此,从16nm到4nm,从低精度到脉动阵列,都给了我们巨大的优势去追随这些大模型。
但运行这些大模型终究不是靠单个芯片的力量,而是整个规模集群需要面临的问题,所以这就牵扯到了水平扩展性。工艺制程的提高带来了5倍的性能提升,芯片架构带来了14倍的性能提升,而水平扩展则要实现600倍的性能提升,才能满足未来的AI/ML计算要求。这也就是目前AI计算存在的问题,大模型往往需要更大的内存、更高的算力和更大的带宽,随着设备数量越多,这三大硬件要求的分配复杂程度就变得越来越高。
比如在GPU上就已经尝试了不少并行扩展方案,比如数据并行、流水线模型并行或张量模型并行等,但以上方案往往都会受到内存、带宽和参数量的限制,并没有单一通用的解决方案,大模型往往需要同时结合这三种方案,所以扩展效率不高。AI芯片公司Cerebras则想出了一个在大规模集群下提高水平扩展性的解决方案。
Cerebras的WSE
要说在AI芯片的初创公司里,走着独立无二路线的公司,Cerebras绝对能排得上名号。2019年,他们推出了WSE,一个晶圆大小的AI处理器,到了2021年,他们又推出了第二代的WSE-2,采用更先进的工艺将单个处理器的核心数推进至85万核。而这次Hot Chips上,他们则展示了用于对抗英伟达的解决方案。
WSE-2与GPU大小对比 / Cerebras
Cerebras选择了将内存和计算解耦的方案,利用内存扩展技术MemoryX,将模型权重存储在外部,然后将权重传输给WSE-2组成的CS-2系统,CS-2再将梯度传给外部存储。Cerebras还打造了一个互联方案SwarmX,用于连接多个CS-2系统,从而提高扩展性。
以Cerebras搭建的Andromeda超算为例,该超算由16个CS-2系统组成,拥有1350万个AI优化核心,稀疏算力高达1ExaFLOPs,稠密算力高达120PetaFLOPs。在这样强大的算力下,训练大模型只要几周的时间。而且在Cerebras不同规模的集群上,不同参数的大模型可以共享同样的代码,以同样的方式训练,省去了不少开发时间。
除了Andromeda以外,Cerebras也已经开始了下一个AI超算的部署,由64个CS-2系统组成的Condor Galaxy 1,该超算的算力将扩展至4ExaFLOPs的稀疏算力。而Condor Galaxy 1名字后的1,也意味着这仅仅是单个超算中心所用的系统而已,未来他们计划在2024年底之前扩展为9个超算中心,分布在美国各地,构建最大的分布式超算网络,总算力高达36ExaFLOPs,是英伟达Israel-1超算的9倍,是谷歌最大TPUv4集群的4倍。
写在最后
单从扩展性和性能的角度来看,Cerebras确实已经做到了一个新的高度。但对于购置这些GPU或AI芯片的云服务或互联网公司来说,GPU或许是一个更加通用的资源,在AI技术日新月异的当下,GPU总能凭借自己的软硬件生态快速找到自己的一席之地,并在高性能的王座上稳坐一段时间。这也就是AI爆款应用的市场导向决定的了,性能固然重要,但抢占先机才是最关键的一环。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
AI
+关注
关注
87文章
26473浏览量
264107 -
英伟达
+关注
关注
22文章
3332浏览量
87807
发布评论请先 登录
相关推荐
英伟达最新AI芯片售价将超3万美元
英伟达最新AI芯片Blackwell的售价引发了业界的广泛关注。据公司创始人黄仁勋透露,这款芯片的售价预计将在3万美元至4万美元之间。这一价
英伟达拟收购以色列人工智能初创公司Run:AI
据最新消息,英伟达正在与以色列的人工智能初创公司Run:AI进行深入谈判,计划收购这一专注于AI基础设施编排和管理平台的
英伟达涉足定制芯片,聚焦云计算与AI市场
作为全球高端AI芯片市场80%份额的霸主,英伟达自2023以来股价上涨超过两倍,2024年市值高达1.73万亿美元。知名公司如微软、OpenAI、Meta纷纷采购
英伟达向聊天机器人初创公司Kore.ai注资1.5亿美元
据报道,英伟达向聊天机器人制造商Kore.ai注资1.5亿美元。这一投资是英伟达在人工智能领域的最新布局,显示出其对人工智能技术的坚定信心和长远规划。Kore.ai是一家在聊天机器人领
今日看点丨英伟达1.5亿美元注资聊天机器人初创公司Kore.ai;知名上市公司涉嫌重大财务造假
已变得越来越依赖其高端芯片。Kore.ai 周二表示,FTV Capital领投了该轮融资,这家总部位于奥兰多的初创公司的企业客户包括可口可乐公司
发表于 01-31 09:53
•540次阅读
RISC-V强势崛起为芯片架构第三极
不断涌现,所有芯片都值得用RISC-V做一次”。
在经历多年的快速成长后,RISC-V架构向高性能AI、AP类等芯片(比如以上提及的服务器、网络交换机)推进的趋势愈发明显。“RISC-
发表于 08-30 13:53
英伟达全球首发超级AI芯片 训练大模型成本更低
黄仁勋向数千名开发者和图形专业人士发表讲话,宣布更新 GH200 Grace Hopper 超级芯片、英伟达 AI Workbench,并将把生成式 AI 引入
用22000个英伟达H100入局AI,初创企业的豪赌
Inflection 新一轮融资的规模反映出投资者对开创生成式 AI 的初创公司的热情高涨,尤其是那些创建底层大语言模型 (LLM) 的公司,这些公
凭借AI“超级芯片”AMD拟向强势英伟达发起挑战
据分析,英伟达占据ai计算市场的80%至95%。英伟达上月公布了市价突破1万亿美元的辉煌业绩。此前,该公司曾表示:“如果确保能够满足剧增的需求的新的半导体供给,进口将会大幅增加。”
NVIDIA仍不死心,再次加入ARM站场
加强联发科芯片在游戏和AI方面的功能与性能,计划最早于2024年将含有英伟达图形技术的GPU集成到联发科的芯片上。
目前联发科已成为Chro
发表于 05-28 08:51
联发科回应结盟英伟达合攻 Arm 架构芯片传闻
外界推测英伟达将与联发科共同宣布双方在 Arm PC 相关芯片的合作,但联发科发布公告表示,这个传闻纯属外界猜测,联发科不做任何评论。
外界认为,根据联发科的活动邀请函内容来看,将展示该公司
发表于 05-28 08:47
评论