0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Cerebras Systems宣布推出有史以来最大的芯片Wafer Scale Engine

M8kW_icbank 来源:半导体行业观察 2019-12-10 14:05 次阅读

昨天,初创公司Cerebras Systems宣布推出有史以来最大的芯片Wafer Scale Engine(WSE)。

据悉,WSE拥有1.2万亿个晶体管,这是一个什么概念呢?比较一下,1971年英特尔首款4004处理器拥有2300个晶体管,最近,AMD推出的最新处理器拥有320亿个晶体管。由此可见WSE规模之庞大。

大多数芯片是在12英寸硅晶圆上制造的,并在芯片工厂中批量处理。但Cerebras Systems芯片是在单个晶圆上通过互联实现的单芯片。这些互连设计使其全部保持高速运行,可使万亿个晶体管全部一起工作。

Cerebras Wafer Scale Engine专门针对处理人工智能应用程序而设计的。该公司本周正在加利福尼亚州帕洛阿尔托的斯坦福大学举行的Hot Chips会议上讨论这项设计。

此前,三星已经制造了一个闪存芯片,即eUFS,拥有2万亿个晶体管。但Cerebras芯片拥有400,000个核心,42,225平方毫米。它比最大的Nvidia图形处理单元大 56.7倍,该单元的尺寸为815平方毫米和211亿个晶体管。

与传统芯片相比,WSE还包含3000倍的高速片上存储器,并且具有10000倍的存储器带宽。

该芯片来自Andrew Feldman领导的团队,后者曾创建微型服务器公司SeaMicro,并以3.34亿美元的价格出售给了AMD。

芯片尺寸在AI中非常重要,因为大芯片可以更快地处理信息,在更短的时间内产生答案。减少训练时间,使研究人员能够测试更多想法,使用更多数据并解决新问题。谷歌,Facebook,OpenAI,腾讯,百度和许多专业人士都认为,今天人工智能的主要限制是训练需要很长时间。因此,缩短训练时间就消除了整个行业进步的主要瓶颈。

当然,芯片制造商通常不会制造如此大的芯片。在单个晶圆上,在制造过程中通常会产生一些杂质,杂质会导致芯片发生故障。如果晶圆上只有一个芯片,它有杂质的几率是100%,杂质会使芯片失效。但Cerebras设计的芯片是有冗余的,因此一种杂质不会破坏整个芯片。

WSE有很多创新,通过解决限制芯片尺寸的数十年的技术挑战 - 例如交叉光罩连接,良率,功率输送,以及封装等,Cerebras Systems首席执行官费尔德曼说。“每个架构决策都是为了优化AI工作的性能。结果是,Cerebras WSE根据工作量提供了数百或数千倍于现有解决方案的性能,只需很小的功耗和空间。“

WSE通过加速神经网络训练的所有元素来实现这些性能提升。神经网络是多级计算反馈回路。较快的输入在循环中移动,循环学习的速度越快,从而减少了训练时间。

Linley Group首席分析师Linley Gwennap在一份声明中说:“Cerebras凭借其晶圆级技术实现了巨大的飞跃,在单片晶圆上实现了更多的处理性能。” 为了实现这一壮举,该公司已经解决了一系列工程难题,包括实施高速芯片到芯片通信,解决制造缺陷,封装如此大的芯片,以及电源和冷却等问题。通过将各种学科的顶级工程师聚集在一起,Cerebras在短短几年内创造了新技术并交付了产品

据悉,该芯片面积比最大的GPU多56.7倍,Cerebras WSE提供更多内核进行计算,更多内存靠近内核,因此内核可以高效运行。由于这些大量的内核和内存位于单个芯片上,因此所有通信都在芯片内进行,这意味着它的低延迟通信带宽是巨大的,因此内核组可以以最高效率进行协作。

Cerebras WSE中的46,225平方毫米的硅包含400,000个AI优化,无缓存,无开销的计算内核和18千兆字节的本地、分布式、超高速SRAM内存,内存带宽为每秒9 PB。这些内核通过细粒度、全硬件、片上网状连接通信网络连接在一起,可提供每秒100 petabits的总带宽。更多内核,更多本地内存和低延迟高带宽结构共同构成了加速AI工作的最佳架构。

更多核心

WSE包含400,000个AI优化的计算核心。被称为稀疏线性代数核心的SLAC,计算核心灵活、可编程,并针对支持所有神经网络计算的稀疏线性代数进行了优化。SLAC的可编程性确保内核可以在不断变化的机器学习领域中运行所有神经网络算法

由于稀疏线性代数核心针对神经网络计算基元进行了优化,因此它们可实现最佳利用率 - 通常是GPU的三倍或四倍。此外,WSE核心包括Cerebras发明的稀疏性收集技术,以加速稀疏工作负载(包含零的工作负载)的计算性能,如深度学习

零在深度学习计算中很普遍。通常,要相乘的向量和矩阵中的大多数元素都是零。然而,乘以零是浪费硅、功率和时间,因为没有新的信息。

因为GPU和张量处理单元是密集的执行引擎 - 设计为永不遇到零的引擎 - 它们即使在零时也会乘以每个元素。当50%-98%的数据为零时,如深度学习中的情况一样,大多数乘法都被浪费了。由于Cerebras稀疏线性代数核不会乘以零,所有零数据都会被滤除,并且可以在硬件中跳过。

存储

内存是每个计算机体系结构的关键组件。更接近计算的内存转换为更快的计算,更低的延迟和更好的数据移动功效。高性能深度学习需要大量计算,并且频繁访问数据。这需要计算核心和存储器之间的紧密接近,这在GPU中并非如此,其中绝大多数存储器是很缓慢的,且在片外。

Cerebras Wafer Scale Engine包含更多内核,具有比迄今为止任何芯片更多的本地内存,并且在一个时钟周期内可以通过其核心访问18GB的片上内存。WSE上的核心本地内存集合可提供每秒9PB的内存带宽 - 比领先的图形处理单元多3,000倍的片上内存和10,000倍的内存带宽。

通信

Swarm通信结构是WSE上使用的处理器间通信结构,它可以传统通信技术的功耗的一小部分实现突破性带宽和低延迟。Swarm提供低延迟、高带宽的2D网格,可连接WSE上的所有400,000个核心,每秒带宽为100 petabits。

路由方面,Swarm为每个神经网络提供独特的优化通信路径。软件根据正在运行的特定用户定义的神经网络结构,配置通过400,000个核心的最佳通信路径以连接处理器。

Cerebras WSE的总带宽为每秒100 petabits。不需要诸如TCP / IP和MPI之类的通信协议支持,因此避免了它们的性能损失。该架构中的通信能量成本远低于每比特1焦耳,这比GPU低近两个数量级。通过结合大量带宽和极低的延迟,Swarm通信结构使Cerebras WSE能够比任何当前可用的解决方案更快地学习。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 芯片
    +关注

    关注

    445

    文章

    47298

    浏览量

    407605
  • 晶体管
    +关注

    关注

    76

    文章

    8942

    浏览量

    134438
  • Systems
    +关注

    关注

    0

    文章

    27

    浏览量

    20396

原文标题:反其道而行,世界最大芯片诞生

文章出处:【微信号:icbank,微信公众号:icbank】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Cerebras Systems推出迄今最快AI芯片,搭载4万亿晶体管

    美国芯片初创企业Cerebras Systems近日在人工智能领域取得了重大突破,成功推出了全新的5纳米级“晶圆级引擎3”(WSE-3)芯片
    的头像 发表于 03-19 11:29 183次阅读

    最强AI芯片发布,Cerebras推出性能翻倍的WSE-3 AI芯片

    近日,芯片行业的领军企业Cerebras Systems宣布推出其革命性的产品——Wafer
    的头像 发表于 03-19 09:31 175次阅读
    最强AI<b class='flag-5'>芯片</b>发布,<b class='flag-5'>Cerebras</b><b class='flag-5'>推出</b>性能翻倍的WSE-3 AI<b class='flag-5'>芯片</b>

    Cerebras推出WSE-3 AI芯片,比NVIDIA H100大56倍

    Cerebras 是一家位于美国加利福尼亚州的初创公司,2019 年进入硬件市场,其首款超大人工智能芯片名为 Wafer Scale Engine
    的头像 发表于 03-14 17:11 548次阅读
    <b class='flag-5'>Cerebras</b><b class='flag-5'>推出</b>WSE-3 AI<b class='flag-5'>芯片</b>,比NVIDIA H100大56倍

    wafer、die、cell是什么?它们有何关系和区别呢?

    可能你偶尔会听见硬件工程师,或者芯片设计工程师讲述一些专业名词,比如今天说的wafer、die、cell等。
    的头像 发表于 12-27 13:45 618次阅读
    <b class='flag-5'>wafer</b>、die、cell是什么?它们有何关系和区别呢?

    为什么ADE7880电能计量时,只有总有功电能计量,而没有单独的输入有功电能和输出有功电能计量?

    一直以来有个疑问,为什么ADE7880电能计量时,只有总有功电能计量,而没有单独的输入有功电能和输出有功电能计量?有哪个芯片是具备这种功能的?
    发表于 12-26 06:07

    GUI中Scale移动滑块代码

    Scale 移动滑块 Scale(移动滑块)用于在指定的数值区间,通过滑块的移动来选择值 实操代码 """scale 滑块的使用测试【示例】使用 Scale(移动滑块)控制字体大小变化
    的头像 发表于 11-26 16:48 663次阅读
    GUI中<b class='flag-5'>Scale</b>移动滑块代码

    フラッシュ開発ツールキット E8aエミュレータとの接続例(SuperH RISC engineファミリ)

    フラッシュ開発ツールキット E8aエミュレータとの接続例(SuperH RISC engineファミリ)
    发表于 08-03 18:30 0次下载
    フラッシュ開発ツールキット E8aエミュレータとの接続例(SuperH RISC <b class='flag-5'>engine</b>ファミリ)

    Cerebras推出2 Exaflops人工智能超级计算机

    如果大型语言模型和其他生成人工智能正在吞噬世界,Cerebras的计划是帮助他们消化它。加州森尼维尔的这家公司并不是唯一一家。其他专注于人工智能的计算机制造商正在围绕自己的专用处理器或英伟达最新的GPU H100构建大规模系统。
    的头像 发表于 08-01 17:05 581次阅读
    <b class='flag-5'>Cerebras</b><b class='flag-5'>推出</b>2 Exaflops人工智能超级计算机

    全球最大芯片缔造者,艰难替代英伟达

    据路透社报道,Cerebras Systems 周四表示,已签署一项价值约 1 亿美元的协议,为阿拉伯联合酋长国科技集团 G42 提供三台人工智能 (AI) 超级计算机中的第一台。
    的头像 发表于 07-24 09:38 753次阅读

    请问PCA2129的wafer有多少nm?

    PCA2129的wafer有多少nm?
    发表于 05-29 08:50

    请问SPC5644的wafer有多少nm?

    SPC5644的wafer有多少nm?
    发表于 05-25 08:46

    Arasan宣布立即推出第二代MIPI D-PHY

    Arasan Chip Systems是移动和物联网SoC半导体IP的领先供应商,今天宣布立即推出用于GF 22nm SoC设计的第二代MIPI D-PHY IP。
    发表于 05-19 14:51 567次阅读

    フラッシュ開発ツールキット E8aエミュレータとの接続例(SuperH RISC engineファミリ)

    フラッシュ開発ツールキット E8aエミュレータとの接続例(SuperH RISC engineファミリ)
    发表于 04-12 19:12 0次下载
    フラッシュ開発ツールキット E8aエミュレータとの接続例(SuperH RISC <b class='flag-5'>engine</b>ファミリ)

    WAFER-150L PH端子1.5 3Pin wafer连接器 立式加盖贴片针座

    WAFER-150L产品名称:WAFER 1.5立贴操作方式:立式温度范围:-25°C TO +85°CPIN数:2A-12A包装方式:卷带最小包装:1000/PCS
    发表于 04-06 10:45 0次下载

    WAFER-150W PH端子1.5 2Pin wafer连接器

    WAFER-150W产品名称:WAFER 1.5卧贴操作方式:卧式温度范围:-25°C TO +85°CPIN数:2A-12A包装方式:卷带最小包装:1500/PCS  
    发表于 04-06 10:44 0次下载