0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

速度优势是HBM产品成功的关键

jf_pJlTbmA9 来源:SK海力士 作者:SK海力士 2023-11-29 16:22 次阅读

高带宽存储器(HBM, High Bandwidth Memory)是一种可以实现高带宽的高附加值DRAM产品,适用于超级计算机、AI加速器等对性能要求较高的计算系统。随着计算技术的发展,机器学习的应用日渐广泛,而机器学习的基础是自20世纪80年代以来一直作为研究热点的神经网络模型。作为速度最快的DRAM产品,HBM在克服计算技术的局限性方面发挥着关键的作用。

HBM的高带宽离不开各种基础技术和先进设计工艺的支持。由于HBM是在3D结构中将一个逻辑die与4-16个DRAM die堆叠在一起,因此开发过程极为复杂。鉴于技术上的复杂性,HBM是公认最能够展示厂商技术实力的旗舰产品。

从2015年推出HBM1到2021年10月开发业界第一款HBM3 DRAM1,SK海力士一直是HBM行业的领军企业。SK海力士的HBM产品大获成功的首要因素是产品特性,具体而言,产品设计在保证市场竞争力方面发挥了重要作用。SK海力士HBM设计团队负责将产品规格落实到实际电路中,同时开发配套的产品架构和设计技术,以确保准确实现产品功能、高性能和低功耗特性。得益于对产品的全面了解,HBM设计团队还在未来产品规划及规格定义方面发挥着至关重要的作用。此外,HBM设计团队会聆听客户反馈,并围绕问题展开分析。

产品特性通常分为三类:性能、功耗和面积,即PPA (Power, Performance, Area)。本文着重探讨如何通过卓越的设计工艺来提高产品性能或创造速度优势。如前所述,HBM支持高带宽,而带宽指的是在特定单位时间内可以传输的数据量。由于具有高带宽的特性,HBM主要应用于高性能计算场景。

通过机器学习解决偏移问题

过去八年来,HBM产品带宽增加了七倍,目前已接近1TB/秒的里程碑节点。鉴于同期内其他产品的带宽仅增加两到三倍,我们有理由将HBM产品的快速发展归功于存储器制造商之间激烈的竞争。

wKgZomVdhUuAR0K_AADTaO1O_Z8422.png

<图1:ISSCC上发表的HBM相关文章的趋势 >

存储器带宽指单位时间内可以传输的数据量,要想增加带宽,最简单的方法是增加数据传输线路的数量。事实上,每个HBM由多达1024个数据引脚组成,HBM内部的数据传输路径随着每一代产品的发展而显著增长,如图2所示。

wKgaomVdhVGAS4sZAACw98uIyow744.png

<图2:各代HBM产品的数据传输路径配置>

但是,芯片的尺寸限制了传输路径的增加。因为增加的不仅是数据传输线路,还有使用每条传输线路的传输/接收电路。此外,随着传输线路的增加,等量匹配每条传输线路长度和配置的难度加大,使得运行速度无法提升。

传输线路之间的时序差异就是我们所说的偏移。为了减少偏移,每条传输线路的总长度和电子元件应采用相似的设计。然而,HBM有数千条内部传输线路,逐一匹配几乎是不可能的任务。为此,SK海力士引入了机器学习。强化学习(Reinforcement learning)技术可以在每条传输线路上附加多余的传输路径,无需工程师手动作业,即可精确地优化偏移问题,由此减少整个传输路径间的偏移。

wKgZomVdhVeAAZyMAAHChtH5VY4259.png

<图3:基于机器学习技术的信号线路优化>

图3显示了这一优化过程。一些90度弯曲的线路具有不同的特性,因此必须通过增加红色附加线的方式来减少偏移(Skew)。与初始的随机解决方案(如图3左侧所示)相比,强化学习技术的使用可以带来最优结果(如右图所示)。通过这种方法,偏移从100皮秒(100 ps)缩短至70皮秒(70 ps),降幅达30%。

通过PVT感知时序优化来提高速度

即使偏移问题得到优化,各种信号之间相对时序关系的匹配仍然是一个难题。例如,每32个数据信号对应一个时钟信号(clock signal)*,如果需要由时钟信号来控制数据信号,那么时钟信号必须采用与数据信号不同的电路。电路配置的差异也会导致关系的变化,具体取决于工艺、电压、温度(PVT)的变化。无论何种情况下,时钟都必须位于数据的特定时序部分。但是,随着运行速度的提升,时序部分会减少,由此增加了设计复杂度。

* 时钟信号(clock signal):在同步数字电路中,时钟信号在高位和低位状态之间振荡,并且像节拍器一样用于协调数字电路的动作。

为了解决这一问题,SK海力士采用PVT感知时序优化技术来检测HBM3中的PVT变化,以找到最佳时序。这项技术可以确定单元电路的哪一个分级与精确循环的外部时钟输入具有相同的周期,并基于该数据自动优化主时序裕量电路(timing margin circuit)中的电路配置。如图4所示,随着PVT的变化,时钟时序通常会将时钟移动到一侧,而PVT感知时序优化技术可以在任何情况下让时钟始终保持在中心位置,以此来提高速度。

wKgZomVdhVmARwMWAAPPkgr6kvQ520.png

<图4:PVT感知时序优化技术>

为了增加作为HBM关键性能指标的带宽,SK海力士正在开发一系列设计技术,包括数据路径优化、基于机器学习的信号线路优化、PVT感知时序优化技术以及全新工艺技术等。基础die与典型DRAM工艺的不同之处在于基础die没有单元,利用这一特性,我们正在开发HBM优化工艺技术以及用于3D堆栈的先进封装技术。

通过上述一系列努力,SK海力士实现了HBM的快速发展。然而,为了满足客户不断增加的期望,打破现有框架进行新技术开发势在必行。此外,SK海力士还在与HBM生态系统中的参与者(客户、代工厂和IP公司等)通力合作,以提升生态系统等级。商业模式的转变同样是大势所趋。作为HBM领军企业,SK海力士将致力于在计算技术领域不断取得进步,全力实现HBM的长期发展。

wKgaomVdhWCABUEQAADSfvrqUVw088.png

文章来源:SK海力士

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • DRAM
    +关注

    关注

    40

    文章

    2181

    浏览量

    182044
  • 带宽
    +关注

    关注

    3

    文章

    818

    浏览量

    40147
  • 机器学习
    +关注

    关注

    66

    文章

    8134

    浏览量

    130577
  • HBM
    HBM
    +关注

    关注

    0

    文章

    234

    浏览量

    14383
收藏 人收藏

    评论

    相关推荐

    SK海力士与台积电共同研发HBM4,预计2026年投产

    HBM3E(第五代 HBM 产品)起,SK海力士的 HBM 产品基础裸片均采用自家工艺生产;然而,从 HMB4(第六代
    的头像 发表于 04-19 10:32 241次阅读

    三星电子发布业界最大容量HBM

    三星电子近日宣布,公司成功研发并发布了其首款12层堆叠HBM3E DRAM,即HBM3E 12H,该产品在带宽和容量上均实现了显著的提升,这也意味着三星已开发出业界迄今为止容量最大的新
    的头像 发表于 03-08 10:10 209次阅读

    HBMHBM2、HBM3和HBM3e技术对比

    AI服务器出货量增长催化HBM需求爆发,且伴随服务器平均HBM容量增加,经测算,预期25年市场规模约150亿美元,增速超过50%。
    发表于 03-01 11:02 355次阅读
    <b class='flag-5'>HBM</b>、<b class='flag-5'>HBM</b>2、<b class='flag-5'>HBM</b>3和<b class='flag-5'>HBM</b>3e技术对比

    三星发布首款12层堆叠HBM3E DRAM

    近日,三星电子宣布,已成功发布其首款12层堆叠的高带宽内存(HBM3E)产品——HBM3E 12H,再次巩固了其在半导体技术领域的领先地位。据了解,
    的头像 发表于 02-27 14:28 441次阅读

    三星电子成功发布其首款12层堆叠HBM3E DRAM—HBM3E 12H

    2024年2月27日 - 三星电子今日宣布,公司成功发布其首款12层堆叠HBM3E DRAM——HBM3E 12H,这是三星目前为止容量最大的HBM
    的头像 发表于 02-27 11:07 290次阅读

    英伟达HBM3e 验证计划2024 Q1完成

    HBM4 预计将于 2026 年推出,具有针对英伟达和其他 CSP 未来产品量身定制的增强规格和性能。在更高速度的推动下,HBM4 将标志着其最底部逻辑芯片(基础芯片)首次使用 12
    发表于 11-28 09:45 236次阅读
    英伟达<b class='flag-5'>HBM</b>3e 验证计划2024 Q1完成

    一文解析HBM技术原理及优势

    HBM技术是一种基于3D堆叠工艺的高性能DRAM,它可以为高性能计算、人工智能、数据中心等领域提供高带宽、高容量、低延迟和低功耗的存储解决方案。本文将介绍HBM技术的原理、优势、应用和发展趋势。
    发表于 11-09 12:32 6364次阅读

    追赶SK海力士,三星、美光抢进HBM3E

    3E共五代产品。对于HBM3E,SK海力士预计2023年底前供应HBM3E样品,2024年开始量产。8层堆叠,容量达24GB,带宽为1.15TB/s。   近日,三星电子也更新了HBM
    的头像 发表于 10-25 18:25 2227次阅读
    追赶SK海力士,三星、美光抢进<b class='flag-5'>HBM</b>3E

    HBM3E明年商业出货,兼具高速和低成本优点

        据了解,HBM(High Bandwidth Memory)是指垂直连接多个DRAM,能够提升数据处理速度HBM DRAM产品HBM
    的头像 发表于 10-10 10:25 454次阅读

    汤谷智能首家在国产工艺线(n+1)完成HBM IP的设计实现

    汤谷智能是目前首家在国产工艺线(n+1)上完成HBM IP的设计实现,成功流片并提供对外服务的企业。 高带宽存储器(HighBandwidth Memory,HBM)是一种将多层DRAM进行3D堆叠
    的头像 发表于 09-20 14:36 718次阅读

    存储厂商HBM订单暴增

    目前,HBM产品的主要供应商是三星、SK海力士和美光。根据全球市场调研机构TrendForce集邦咨询的调查显示,2022年,SK海力士在HBM市场占据了50%的份额,三星占据了40%,美光占据了10%。
    的头像 发表于 09-15 16:21 414次阅读
    存储厂商<b class='flag-5'>HBM</b>订单暴增

    SK海力士开发出全球最高规格HBM3E,向英伟达提供样品

    该公司表示,HBM3E(HBM3的扩展版本)的成功开发得益于其作为业界唯一的HBM3大规模供应商的经验。凭借作为业界最大HBM
    的头像 发表于 08-22 16:24 589次阅读

    SK海力士开发出全球最高规格HBM3E

    sk海力士表示:“以唯一批量生产hbm3的经验为基础,成功开发出了世界最高性能的扩展版hbm3e。“将以业界最大规模的hbm供应经验和量产成熟度为基础,从明年上半年开始批量生产
    的头像 发表于 08-21 09:21 608次阅读

    业界最快、容量最高的HBM

    容量HBM3 Gen2内存样品,其带宽超过1.2TB/s,引脚速度超过9.2Gb/s,相比目前出货的HBM3解决方案提高了50%。美光的HBM3 Gen2
    的头像 发表于 08-07 17:38 633次阅读

    HBM的崛起!

    时任AMD CEO的苏姿丰表示,HBM采用堆叠式设计实现存储速度的提升,大幅改变了GPU逻辑结构设计,DRAM颗粒由“平房设计”改为“楼房设计”,所以HBM显存能够带来远远超过当前GDDR5所能够提供的带宽上限,其将率先应用于高
    的头像 发表于 07-13 15:18 530次阅读
    <b class='flag-5'>HBM</b>的崛起!