0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

速度优势是HBM产品成功的关键

jf_pJlTbmA9 来源:SK海力士 作者:SK海力士 2023-11-29 16:22 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

高带宽存储器(HBM, High Bandwidth Memory)是一种可以实现高带宽的高附加值DRAM产品,适用于超级计算机、AI加速器等对性能要求较高的计算系统。随着计算技术的发展,机器学习的应用日渐广泛,而机器学习的基础是自20世纪80年代以来一直作为研究热点的神经网络模型。作为速度最快的DRAM产品,HBM在克服计算技术的局限性方面发挥着关键的作用。

HBM的高带宽离不开各种基础技术和先进设计工艺的支持。由于HBM是在3D结构中将一个逻辑die与4-16个DRAM die堆叠在一起,因此开发过程极为复杂。鉴于技术上的复杂性,HBM是公认最能够展示厂商技术实力的旗舰产品。

从2015年推出HBM1到2021年10月开发业界第一款HBM3 DRAM1,SK海力士一直是HBM行业的领军企业。SK海力士的HBM产品大获成功的首要因素是产品特性,具体而言,产品设计在保证市场竞争力方面发挥了重要作用。SK海力士HBM设计团队负责将产品规格落实到实际电路中,同时开发配套的产品架构和设计技术,以确保准确实现产品功能、高性能和低功耗特性。得益于对产品的全面了解,HBM设计团队还在未来产品规划及规格定义方面发挥着至关重要的作用。此外,HBM设计团队会聆听客户反馈,并围绕问题展开分析。

产品特性通常分为三类:性能、功耗和面积,即PPA (Power, Performance, Area)。本文着重探讨如何通过卓越的设计工艺来提高产品性能或创造速度优势。如前所述,HBM支持高带宽,而带宽指的是在特定单位时间内可以传输的数据量。由于具有高带宽的特性,HBM主要应用于高性能计算场景。

通过机器学习解决偏移问题

过去八年来,HBM产品带宽增加了七倍,目前已接近1TB/秒的里程碑节点。鉴于同期内其他产品的带宽仅增加两到三倍,我们有理由将HBM产品的快速发展归功于存储器制造商之间激烈的竞争。

wKgZomVdhUuAR0K_AADTaO1O_Z8422.png

<图1:ISSCC上发表的HBM相关文章的趋势 >

存储器带宽指单位时间内可以传输的数据量,要想增加带宽,最简单的方法是增加数据传输线路的数量。事实上,每个HBM由多达1024个数据引脚组成,HBM内部的数据传输路径随着每一代产品的发展而显著增长,如图2所示。

wKgaomVdhVGAS4sZAACw98uIyow744.png

<图2:各代HBM产品的数据传输路径配置>

但是,芯片的尺寸限制了传输路径的增加。因为增加的不仅是数据传输线路,还有使用每条传输线路的传输/接收电路。此外,随着传输线路的增加,等量匹配每条传输线路长度和配置的难度加大,使得运行速度无法提升。

传输线路之间的时序差异就是我们所说的偏移。为了减少偏移,每条传输线路的总长度和电子元件应采用相似的设计。然而,HBM有数千条内部传输线路,逐一匹配几乎是不可能的任务。为此,SK海力士引入了机器学习。强化学习(Reinforcement learning)技术可以在每条传输线路上附加多余的传输路径,无需工程师手动作业,即可精确地优化偏移问题,由此减少整个传输路径间的偏移。

wKgZomVdhVeAAZyMAAHChtH5VY4259.png

<图3:基于机器学习技术的信号线路优化>

图3显示了这一优化过程。一些90度弯曲的线路具有不同的特性,因此必须通过增加红色附加线的方式来减少偏移(Skew)。与初始的随机解决方案(如图3左侧所示)相比,强化学习技术的使用可以带来最优结果(如右图所示)。通过这种方法,偏移从100皮秒(100 ps)缩短至70皮秒(70 ps),降幅达30%。

通过PVT感知时序优化来提高速度

即使偏移问题得到优化,各种信号之间相对时序关系的匹配仍然是一个难题。例如,每32个数据信号对应一个时钟信号(clock signal)*,如果需要由时钟信号来控制数据信号,那么时钟信号必须采用与数据信号不同的电路。电路配置的差异也会导致关系的变化,具体取决于工艺、电压、温度(PVT)的变化。无论何种情况下,时钟都必须位于数据的特定时序部分。但是,随着运行速度的提升,时序部分会减少,由此增加了设计复杂度。

* 时钟信号(clock signal):在同步数字电路中,时钟信号在高位和低位状态之间振荡,并且像节拍器一样用于协调数字电路的动作。

为了解决这一问题,SK海力士采用PVT感知时序优化技术来检测HBM3中的PVT变化,以找到最佳时序。这项技术可以确定单元电路的哪一个分级与精确循环的外部时钟输入具有相同的周期,并基于该数据自动优化主时序裕量电路(timing margin circuit)中的电路配置。如图4所示,随着PVT的变化,时钟时序通常会将时钟移动到一侧,而PVT感知时序优化技术可以在任何情况下让时钟始终保持在中心位置,以此来提高速度。

wKgZomVdhVmARwMWAAPPkgr6kvQ520.png

<图4:PVT感知时序优化技术>

为了增加作为HBM关键性能指标的带宽,SK海力士正在开发一系列设计技术,包括数据路径优化、基于机器学习的信号线路优化、PVT感知时序优化技术以及全新工艺技术等。基础die与典型DRAM工艺的不同之处在于基础die没有单元,利用这一特性,我们正在开发HBM优化工艺技术以及用于3D堆栈的先进封装技术。

通过上述一系列努力,SK海力士实现了HBM的快速发展。然而,为了满足客户不断增加的期望,打破现有框架进行新技术开发势在必行。此外,SK海力士还在与HBM生态系统中的参与者(客户、代工厂和IP公司等)通力合作,以提升生态系统等级。商业模式的转变同样是大势所趋。作为HBM领军企业,SK海力士将致力于在计算技术领域不断取得进步,全力实现HBM的长期发展。

wKgaomVdhWCABUEQAADSfvrqUVw088.png

文章来源:SK海力士

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • DRAM
    +关注

    关注

    41

    文章

    2402

    浏览量

    189558
  • 带宽
    +关注

    关注

    3

    文章

    1048

    浏览量

    43568
  • 机器学习
    +关注

    关注

    67

    文章

    8562

    浏览量

    137209
  • HBM
    HBM
    +关注

    关注

    2

    文章

    433

    浏览量

    15882
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    GPU猛兽袭来!HBM4、AI服务器彻底引爆!

    电子发烧友网报道(文/黄晶晶)日前,多家服务器厂商表示因AI服务器需求高涨拉高业绩增长。随着AI服务器需求旺盛,以及英伟达GPU的更新换代,势必带动HBM供应商的积极产品推进。三星方面HBM
    的头像 发表于 06-02 06:54 6995次阅读

    消息称英伟达HBM4订单两家七三分,独缺这一家

    4的相关产品。 三星电子HBM4 采用1c DRAM 和 4nm 制程工艺,其数据处理速度超过了JEDEC 标准的8Gbps,最高可达11.7Gbps,比上一代 HBM3E(9.6Gb
    的头像 发表于 02-11 10:27 1683次阅读

    相比MCU同行产品,芯源的MCU产品有何优势和劣势呢?

    相比MCU同行产品,芯源的MCU产品有何优势和劣势?
    发表于 01-08 07:50

    存储狂飙与HBM扩产潮下,高端芯片烧录的“速度与精度”终极博弈

    等本土企业凭借技术积淀与服务网络保障交付,HBM 大规模量产时代,烧录与测试方案适配成为行业关键命题。
    的头像 发表于 12-29 16:52 1952次阅读

    存储迭代暗涌:HBM4与UFS4.1浪潮下,烧录环节何以成为新瓶颈?

    存储芯片市场扩产繁荣,HBM4、UFS4.1等先进技术加速量产,但被低估的烧录环节成关键瓶颈。先进存储对烧录的速度、精度和协议复杂度提出极高要求,面临三重技术关卡。需专用烧录方案突破瓶颈,其是国产存储跨越量产“最后一公里”的
    的头像 发表于 12-22 14:03 732次阅读

    AI大算力的存储技术, HBM 4E转向定制化

    电子发烧友网报道(文/黄晶晶)如今英伟达GPU迭代速度加快至每年一次,HBM存储速率如何跟上GPU发展节奏。越来越多的超大规模云厂商、GPU厂商开始转向定制化HBM。而HBM存储厂商以
    的头像 发表于 11-30 00:31 8832次阅读
    AI大算力的存储技术, <b class='flag-5'>HBM</b> 4E转向定制化

    半导体“HBM和3D Stacked Memory”技术的详解

    3D Stacked Memory是“技术方法”,而HBM是“用这种方法解决特定问题的产品”。
    的头像 发表于 11-07 19:39 6708次阅读
    半导体“<b class='flag-5'>HBM</b>和3D Stacked Memory”技术的详解

    紫光国芯存储芯片国产替代方案:打破DDR5/HBM芯片供应链瓶颈

    贞光科技作为紫光国芯核心代理商,主推其DDR5/HBM国产替代方案。紫光国芯的高性能存储产品已广泛应用于信创及数据中心,贞光科技提供全线产品供应与技术服务,助力打破供应链垄断,保障关键
    的头像 发表于 10-10 16:41 2745次阅读
    紫光国芯存储芯片国产替代方案:打破DDR5/<b class='flag-5'>HBM</b>芯片供应链瓶颈

    HBM技术在CowoS封装中的应用

    HBM通过使用3D堆叠技术,将多个DRAM(动态随机存取存储器)芯片堆叠在一起,并通过硅通孔(TSV,Through-Silicon Via)进行连接,从而实现高带宽和低功耗的特点。HBM的应用中,CowoS(Chip on Wafer on Substrate)封装技术
    的头像 发表于 09-22 10:47 2670次阅读

    SK海力士宣布量产HBM4芯片,引领AI存储新变革

    在人工智能(AI)技术迅猛发展的当下,数据处理与存储能力成为制约其进一步飞跃的关键因素。2025 年 9 月 12 日,韩国半导体巨头 SK 海力士宣布,已成功完成面向 AI 的超高性能存储器新产品
    的头像 发表于 09-16 17:31 2028次阅读

    传英伟达自研HBM基础裸片

    电子发烧友网综合报道,据台媒消息,传闻英伟达已开始开发自己的HBM基础裸片,预计英伟达的自研HBM基础裸片采用3nm工艺制造,计划在2027年下半年进行小批量试产。并且这一时间点大致对应"Rubin
    的头像 发表于 08-21 08:16 3021次阅读

    性能优于HBM,超高带宽内存 (X-HBM) 架构来了!

    和单芯片高达512 Gbit的容量,带宽提升16倍,密度提升10倍,显著突破了传统HBM的局限性。     关键特性和优势包括,可扩展性,使GPU和内存之间的数据传输更快,从而实现更高效的AI扩展;高性能,解锁未开发的GPU能力
    的头像 发表于 08-16 07:51 5130次阅读
    性能优于<b class='flag-5'>HBM</b>,超高带宽内存 (X-<b class='flag-5'>HBM</b>) 架构来了!

    HBM应用在手机上,可行吗?

      电子发烧友网报道(文/梁浩斌)最近有不少关于HBM技术被应用到手机的消息,此前有消息称苹果会在20周年iPhone,也就是2027年推出使用HBM DRAM的iPhone手机,提高端侧AI能力
    的头像 发表于 07-13 06:09 7560次阅读

    SK海力士HBM技术的发展历史

    SK海力士在巩固其面向AI的存储器领域领导地位方面,HBM1无疑发挥了决定性作用。无论是率先开发出全球首款最高性能的HBM,还是确立并保持其在面向AI的存储器市场的领先地位,这些成就的背后皆源于SK海力士秉持的“一个团队”协作精神(One Team Spirit)。
    的头像 发表于 06-18 15:31 2294次阅读

    Cadence推出HBM4 12.8Gbps IP内存系统解决方案

    近日,Cadence(NASDAQ:CDNS)近日宣布推出业界速度最快的 HBM4 12.8Gbps 内存 IP 解决方案,以满足新一代 AI 训练和 HPC 硬件系统对 SoC 日益增长的内存带宽
    的头像 发表于 05-26 10:45 1734次阅读