0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

最强AI芯片发布,Cerebras推出性能翻倍的WSE-3 AI芯片

AI芯天下 来源:AI芯天下 2024-03-19 09:31 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

前言: 近日,芯片行业的领军企业Cerebras Systems宣布推出其革命性的产品——Wafer Scale Engine 3,该产品成功将现有最快AI芯片的世界纪录提升了一倍。

WSE-3 AI芯片比英伟达H100大56倍

WSE-3芯片采用了台积电先进的5纳米工艺技术,集成了超过4万亿个晶体管与90万个核心,展现出惊人的125 petaflops计算性能。

此芯片不仅是台积电目前能制造的最大方形芯片,其独特的44GB片上SRAM设计。

摒弃了传统的片外HBM3E或DDR5内存方式,使内存与核心紧密结合,极大缩短了数据处理与计算的距离,提升了整体运算效率。

另一方面,Cerebras的CS-3系统代表了Wafer Scale技术的第三代成就。

其顶部配置有先进的MTP/MPO光纤连接,以及完备的冷却系统包括电源、风扇和冗余泵,确保了系统在高负荷运行时的稳定与可靠。

相较于前代产品,CS-3系统及其新型芯片在保持相同功耗和成本的同时,实现了近两倍的性能提升。

值得注意的是,WSE-3芯片的核心数量高达英伟达H100 Tensor Core的52倍。

37a9e31c-e52b-11ee-a297-92fbcf53809c.png

由WSE-3驱动的Cerebras CS-3系统在训练速度上比英伟达的DGX H100系统快了8倍,内存扩大了1900倍。

更令人震惊的是,CS-3系统能够支持高达24万亿个参数的AI模型训练,这一数字是DGX H100的600倍。Cerebras公司高管表示,CS-3系统的能力已全面超越DGX H100。

举例来说,原本在GPU上需要30天才能完成的Llama 700亿参数模型训练,现在通过CS-3集群仅需一天即可完成。

37c1b8b6-e52b-11ee-a297-92fbcf53809c.png

第三代产品成功破圈

WSE-3在保持与前代产品Cerebras WSE-2相同功耗和价格的同时,其性能却实现了翻番,这无疑是对市场的一次重大突破。

WSE-3是Cerebras第三代产品,展现了其在晶圆级芯片设计和制造方面的技术积累。

第一代WSE于2019年推出,采用台积电16nm工艺;第二代WSE-2于2021年发布,采用7nm工艺;WSE-3则使用5nm技术。

相比第一代,WSE-3的晶体管数量增加了两倍以上,达到了4万亿的规模。根据其官方介绍,与晶体管数量的增长相比,芯片上的计算单元、内存和带宽的增长速度有所放缓。

这反映出Cerebras在追求整体性能提升的同时,也在芯片面积、功耗和成本之间进行权衡。

通过多代产品的迭代,Cerebras掌握了晶圆级芯片设计和制造的核心技术,为未来的创新奠定了基础。

37d0da08-e52b-11ee-a297-92fbcf53809c.png

专为AI打造的计算能力

以往,在传统的GPU集群环境下,研究团队在分配模型时不仅需要科学严谨,还需应对一系列复杂的挑战,如处理器单元的内存容量限制、互联带宽的瓶颈以及同步机制的协调等。

此外,团队还需持续调整超参数并开展优化实验,以确保模型的性能达到最佳状态。

然而,这些努力常常因微小的变动而受到影响,导致解决问题所需的总时间进一步延长,增加了研究的复杂性和不确定性。

相比之下,WSE-3的每一个核心均具备独立编程的能力,并且针对神经网络训练和深度学习推理中所需的基于张量的稀疏线性代数运算进行了专门的优化。

这一特点使得研究团队能够在WSE-3的支持下,以前所未有的速度和规模高效地训练和运行AI模型,同时避免了复杂分布式编程技巧的需求。

WSE-3配备的44GB片上SRAM内存均匀分布在芯片表面,使得每个核心都能在单个时钟周期内以极高的带宽(21 PB/s)访问到快速内存,是当今地表最强GPU英伟达H100的7000倍。

而WSE-3的片上互连技术,更是实现了核心间惊人的214 Pb/s互连带宽,是H100系统的3715倍。

CS-3可以配置为多达2048个系统的集群,可实现高达256 exaFLOPs的AI计算,专为快速训练GPT-5规模的模型而设计。

37e38ebe-e52b-11ee-a297-92fbcf53809c.png

大幅简化并行编程复杂度

传统的集群建设方式,通常需要数以万计的GPU或AI加速器来协同解决某一问题。

在英伟达所构建的GPU集群中,这些集群通过Infiniband、以太网、PCIe和NVLink交换机等设备进行连接,其中大部分功率和成本均投入到芯片间的重新连接上。

此外,为了管理这些芯片间的互连、通信和同步,还需编写大量的代码,这无疑增加了并行编程的复杂性。

然而,Cerebras采用了一种与英伟达截然不同的方法。他们选择保留整个晶圆,因此所需的芯片数量减少了50倍以上,从而显著降低了互连和网络的复杂性和成本。

在软件层面,Cerebras提供了一套优化的软件栈,其中包括内置的通信机制和自动化的内存管理。

这使得开发人员能够使用更少的代码实现复杂的模型,从而大幅降低了编程负担。

这种软硬件协同优化的策略,不仅简化了开发过程,也加速了AI应用的开发和部署。

业务模式与传统厂商存在显著差异

传统上,英伟达、AMD英特尔等公司倾向于采用大型台积电晶圆,并将其切割成更小的部分以生产芯片。

然而,Cerebras却选择了一种截然不同的路径,它保留了晶圆的完整性。

在当前高度互联的计算集群中,数以万计的GPU或AI加速器协同工作以处理复杂问题。

Cerebras的策略将芯片数量减少50倍以上,从而显著降低了互连和网络成本,同时减少了功耗。

在英伟达GPU集群中,这些集群配备了Infiniband、以太网、PCIe和NVLink交换机,大量的电力和成本消耗在重新链接芯片上。

通过维持整个芯片的完整性,Cerebras有效地解决了这一问题。

凭借WSE-3,Cerebras继续巩固其作为全球最大单芯片生产者的地位。

这款芯片呈正方形,边长达到21.5厘米,几乎占据了整个300毫米硅片的面积。

将Cerebras的设计理念与拼图游戏进行类比,可以清晰地揭示其创新之处。

传统的芯片制造过程类似于将拼图切成小块并逐一拼接,而Cerebras的方法则更像是保持拼图的完整性,使得各部件之间的连接更加紧密,从而提升了整体效率和性能。

这种前瞻性的设计理念为WSE-3芯片的成功提供了坚实的基石。

结尾:

综合评估,WSE-3标志着人工智能芯片设计领域的新趋势,它以单片规模之巨实现了性能与效率的显著提升。

对于其他公司而言,若要复制此类产品,必须在晶圆制造、封装互连、系统集成及软件栈等多个领域投入长期的研发努力,并克服众多技术难关。

Cerebras之所以能够在市场中脱颖而出,其关键在于这些领域中所展现的持续创新能力及突破。




审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    20150

    浏览量

    247279
  • 晶圆
    +关注

    关注

    53

    文章

    5348

    浏览量

    131704
  • 晶体管
    +关注

    关注

    78

    文章

    10264

    浏览量

    146331
  • AI芯片
    +关注

    关注

    17

    文章

    2065

    浏览量

    36570
  • DDR5
    +关注

    关注

    1

    文章

    467

    浏览量

    25611

原文标题:热点丨最强AI芯片发布,Cerebras推出性能翻倍的WSE-3 AI芯片

文章出处:【微信号:World_2078,微信公众号:AI芯天下】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    亚马逊发布新一代AI芯片Trainium3性能提升4倍

    电子发烧友网报道(文/李弯弯)在拉斯维加斯举办的2025年亚马逊云科技re:Invent全球大会上,亚马逊云科技(AWS)推出新一代人工智能(AI)训练芯片Trainium 3,预告了
    的头像 发表于 12-09 08:37 5329次阅读
    亚马逊<b class='flag-5'>发布</b>新一代<b class='flag-5'>AI</b><b class='flag-5'>芯片</b>Trainium<b class='flag-5'>3</b>,<b class='flag-5'>性能</b>提升4倍

    今日看点:高通发布云端AI芯片;艾为电子推出低功耗Hyper-Hall™芯片 高通发布云端AI芯片 近日,美国高通公

      高通发布云端AI芯片 近日,美国高通公司宣布推出两款新型人工智能芯片AI200和
    发表于 10-28 10:43 816次阅读

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI芯片到AGI芯片

    和探索;人类级别的理解能力;常识推理;现实世界的知识整合。 3、测试时计算 测试时计算(TTC)是指在模型推理阶段利用额外的计算资源来提升泛化性能。 4、具身智能与渗透式AI 1)具身智能对AGI的意义
    发表于 09-18 15:31

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI的科学应用

    和量子计算的两项新兴的技术,将在生产假说方面发挥重要作用,从而改变科学发现的范式。 生成式AI: 2、穷举搜索 3、分析排错与组合优化 分析排错是生成假说的重要手段。强化学习也在优化假说组合、寻找科学发现
    发表于 09-17 11:45

    【「AI芯片:科技探索与AGI愿景」阅读体验】+半导体芯片产业的前沿技术

    无线通信(CCWC),可以解决传统芯片内采用金属互连线、硅通孔灯通信的瓶颈,提高芯片性能和能效,同时大大缩小面积。 CCWC面临的挑战: 2、3D堆叠 1)
    发表于 09-15 14:50

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI的未来:提升算力还是智力

    持续发展体现在: 1、收益递减 大模型的基础的需要极大的算力,这首先源于昂贵的高性能AI芯片,然后是宝贵的电力、水等与环境相关的资源。 收益递减体现在: ①模型大小 ②训练数据量 ③训练算法的优化 2
    发表于 09-14 14:04

    【「AI芯片:科技探索与AGI愿景」阅读体验】+第二章 实现深度学习AI芯片的创新方法与架构

    的同时,能够利用更小、更快的数字格式,提升模型的整体性能。 1.3Transformer 模型中的矩阵乘法计算 2、存内计算AI芯片 存内计算已经成为应对大模型不断增加的计算量和能耗需求、减少大模型
    发表于 09-12 17:30

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI芯片的需求和挑战

    : 介绍了7家ASIC的新创公司: Tachyum、Cerebras、SambaNova、Graphcore、Esperanto、Groq、Etched AI 还介绍了中国的AI芯片
    发表于 09-12 16:07

    【「AI芯片:科技探索与AGI愿景」阅读体验】+可期之变:从AI硬件到AI湿件

    的不同。随着AI热潮的兴起,大脑的抽象模型已被提炼成各种的AI算法,并使用半导体芯片技术加以实现。 而大脑是一个由无数神经元通过突触连接而成的复杂网络,是极其复杂和精密的。大脑在本质上就是一台湿润的软组织
    发表于 09-06 19:12

    【「AI芯片:科技探索与AGI愿景」阅读体验】+内容总览

    是展望未来的AGI芯片,并探讨相关的发展和伦理话题。 各章的目录名称如下: 第1章 大模型浪潮下,AI芯片的需求与挑战免费 第2章 实现深度学习AI
    发表于 09-05 15:10

    AI 芯片浪潮下,职场晋升新契机?

    芯片设计为例,从最初的架构选型,到算法适配、性能优化,每个环节都考验着工程师的专业素养。在设计一款面向智能安防领域的 AI 芯片时,需要深入研究安防场景下图像识别算法的特点,针对性地
    发表于 08-19 08:58

    【书籍评测活动NO.64】AI芯片,从过去走向未来:《AI芯片:科技探索与AGI愿景》

    名单公布 @LiuDW、@jinglixixi、@bruceleesohu 请于9月3日前,前往【书籍评测活动NO.64】《AI芯片:科技探索与AGI愿景》完成书籍兑换。 如有疑问请 添加小助手微信
    发表于 07-28 13:54

    科通技术推出DeepSeek+AI芯片全场景方案

    份有限公司(以下简称“科通技术”)作为AI算力供应链的核心供应商,凭借深厚的技术积累与产业资源,推出了DeepSeek大模型与AI芯片相结合的全场景应用方案,在
    的头像 发表于 03-24 10:33 1066次阅读

    Banana Pi 发布 BPI-AI2N &amp; BPI-AI2N Carrier,助力 AI 计算与嵌入式开发

    []() 2025年3月19日——Banana Pi 今日正式发布 BPI-AI2N & BPI-AI2N Carrier,基于瑞萨电子(Renesas)同步
    发表于 03-19 17:54

    晶科鑫SJK晶振在不同领域的应用

    在科技时代,高性能芯片的需求日益增长。据《财富》杂志报道,Cerebras Systems推出WSE-3
    的头像 发表于 02-07 18:03 879次阅读