0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

为AI推理打造高达24Gb/s的GDDR6 PHY,Rambus全面支持中国市场的AI升级

花茶晶晶 来源:电子发烧友网 作者:黄晶晶 2023-05-26 16:38 次阅读

人工智能在通过大量的数据进行训练之后,神经网络打造的完整模型将被集成在边缘或实际应用场之中,往往大量的AI正是应用在于边缘AI推理。与AI训练需要大量的数据和算力不同,AI推理对算力的需求大幅下降,但对成本和功耗更为敏感。

在AI推理应用越来越多的趋势下,Rambus率先研判与推出GDDR6 IP产品组合。Rambus IP核产品营销高级总监Frank Ferro先生表示,作为更加理想的方案,GDDR6有着高带宽以及低时延的特性,能够帮助边缘端更好地处理数据。

Rambus GDDR6 PHY以及控制器的配套产品,已经达到了业界领先的24Gb/s的数据传输速率,这也是全新的一个行业标杆,可以为AI推理等应用场景带来巨大性能优势和收益。

除性能之外,另一大优势是对功耗的管理。因为当设备在高速和高带宽环境下运行时,良好的功耗管理非常重要。

还有系统层面的设计。如果要确保系统在24Gb/s环境下运行,需要良好的系统级信号完整性。Rambus信号完整性的工程师,也会与客户进行非常紧密的从设计初期开始的合作,能够确保客户运行系统的时候达到最高的性能。

另外,Rambus提供的产品已经实现了PHY以及控制器的完整集成。在客户收到产品之后,可以直接对这些子系统进行定制化应用。

GDDR6内存接口子系统的结构


下图的结构包括PHY物理层、控制器、DRAM以及客户端的ASIC



Frank Ferro解析,PHY的物理层与DRAM进行直接连接,这个接口是由两个16位的插槽所组成,加起来是32位。

另外一侧是DFI接口与内存的控制器进行连接,控制器直接接入到整个系统的逻辑控制。Rambus提供的是中间标蓝的两个非常重要的环节,也就是完整的子系统,Rambus会根据客户具体应用场景和实际的诉求对子系统来进行优化,并将其作为完整的子系统来交付给客户。

GDDR的“G”代表的是graphic (图形),因此它可以用于图形处理,同时也可以用于人工智能以及机器学习算法中,以及网络应用等。

在GDDR6拥有的诸多特点中,值得一提的是clamshell模式,具体指的是每个信道可以支持两个GDDR6的设备。换句话说,在clamshell模式之下整个容量是直接翻倍乘以2的。



另外,GDDR6现在已经支持比较先进的FinFET工艺节点,实际上从2019年开始Rambus就已经支持非常先进的制程工艺。

同时,也会针对PCB以及封装提供相关的参考设计。在内部有专门的信号完整度和边缘完整性的专家,来帮助客户去完成整个的设计工作。

Frank Ferro表示,Rambus的GDDR6接口子系统可以实现高达24Gb/s的卓越性能,可以为每个GDDR6内存设备提供最高达到96Gb/s的带宽。GDDR6是在AI应用场景下比较合理的产品和选择,因为可以在成本和性能之间达成不错的平衡。

边缘AI推理,GDDR6是更合适的选择


实际上内存的形式有很多种,DDR、LPDDR、GDDR以及HBM等,那么边缘AI推理用哪种内存最合适,在Frank Ferro看来GDDR6将是脱颖而出的那一个。

他说,GDDR6有着优秀的数据传输速率,可适用于很多AI推理场景。尤其在一些网络应用中,GDDR6能具有重要作用。“现在非常多的具体网络应用场景都已经开始在边缘端实现了。尤其是有的应用要求所有传入的数据必须在本地进行实时处理,这种需求的增加对本身产品架构的要求会很高。因此传统的DDR方案已经远远不能满足要求,因为需要有很多的DDR设备。而部署GDDR6在边缘设备,能够大幅度降低网络边缘设备对DDR数量的需求。”

一般来说,AI推理对带宽的需求在200到500Gb/s的范围之间。而每一个GDDR6设备的带宽可以达到96Gb/s,通过将4-5个GDDR6设备组合,就可以轻松满足500Gb/s及以下的带宽需求。

以DDR4为例,它的速度可能最高能达到3.2Gb/s。虽然它的成本相对较低,但是速度是一大劣势。GDDR技术在几年前就能够实现16Gb/s的带宽,已经超过DDR技术的三到四倍之多。当然,DDR、GDDR和LPDDR这些不同的产品都是以标准的DRAM为基础,LPDDR更关注低功耗管理,DDR本身的数据存储密度会更高一点,而GDDR是更关注于速度。

此外,如果用到一个HBM3设备就能够达到接近800Gb的带宽,但它会使得成本增加3至4倍。因此,对于对带宽和低延迟有很高要求的AI训练场景,HBM可能是更好的选择。而对于需要更大容量、更高带宽的AI推理场景,则GDDR6是更合适的选择。

全面的产品组合,满足中国客户不同的AI需求

Rambus作为一家业界领先的半导体IP和芯片供应商,技术实力强劲,拥有3000多项技术专利,企业使命是让数据传输更快、更安全。经过三十多年的发展和创新,Rambus现在的主要业务包含基础专利授权、芯片IP授权和内存接口芯片。Rambus的技术和产品面向的市场是数据密集型市场,包括数据中心5G物联网IoT、汽车等细分市场。其产品组合,与AIGC应用对数据传输的需求十分契合。



以ChatGPT为代表的AIGC应用热潮袭卷到中国,我们可以看到中国不少互联网大厂都发布了自己的AI大模型。那么Rambus如何支持中国客户的AI数据传输需求呢?

Rambus大中华区总经理苏雷先生长期投身中国市场,他表示Rambus在和芯片厂商的沟通中发现更多厂商聚焦于AI训练,因此他们的方案更多需求在于HBM;在与云厂商的沟通中,他们更多是关注数据中心推出的一系列产品,即中国式ChatGPT产品,他们需要更多的算力。在内存产品上,Rambus有非常好的接口芯片,向云厂商提供我们的服务和产品。



还有一类客户是中国的OEM和ODM厂商,他们把目光转向了当前非常新的技术CXL。因为CXL可以带来更多内存带宽和内存容量,所以我们正在紧密合作提供方案,以加大整个系统内存的带宽,帮助他们的产品推向市场。

苏雷说,Rambus China立足于中国市场,愿意更多、更紧密地支持中国公司在ChatGPT产业的发展,以最好的技术、最快的响应和最好的技术支持来服务中国市场,给广大客户保驾护航。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Rambus
    +关注

    关注

    0

    文章

    53

    浏览量

    18738
  • PHY
    PHY
    +关注

    关注

    2

    文章

    271

    浏览量

    51375
  • GDDR6
    +关注

    关注

    0

    文章

    51

    浏览量

    11229
收藏 人收藏

    评论

    相关推荐

    进一步解读英伟达 Blackwell 架构、NVlink及GB200 超级芯片

    )降低5倍,企业处理和分析大规模数据提供强大支持GB200 NVL72 规格 GB200 NVL 72 推理能力和速度对比
    发表于 05-13 17:16

    RambusGDDR7内存控制器IP满足AI应用需求

    据报道,该公司的 GDDR7 控制器采用 PAM3 信号,运行速度高达 40 Gbps,能为 GDDR7 存储器设备提供 160 GB/s 的吞吐量,相比其自身研发的
    的头像 发表于 04-23 15:52 219次阅读

    开发者手机 AI - 目标识别 demo

    Lite的API接口实现主要功能; Mindspore LiteOpenharmony AI推理框架,上层应用提供统一的AI
    发表于 04-11 16:14

    ONNX Runtime支持龙架构,AI推理生态再添新翼

    近日,备受瞩目的AI推理框架开源社区ONNX Runtime宣布推出支持龙架构的新版本1.17.0,这一里程碑式的更新意味着龙芯平台上的AI推理
    的头像 发表于 03-27 10:58 388次阅读

    三星、海力士推出GDDR7显存,最高时速48Gbps、64Gb

    值得关注的是,新型GDDR7内存提供的容量选项亦更加多样化,本次展出的版本即包含16Gb24Gb两种款式,分别匹配2GB和3GB显存容量。
    的头像 发表于 03-21 15:35 367次阅读

    AI推理框架软件ONNX Runtime正式支持龙架构

    近日,知名AI推理框架开源社区ONNX Runtime正式发布支持龙架构的版本1.17.0。
    的头像 发表于 03-12 12:23 337次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>推理</b>框架软件ONNX Runtime正式<b class='flag-5'>支持</b>龙架构

    英伟达再为中国市场特供两款新型AI芯片样品

    在全球科技舞台上,英伟达一直以其领先的AI芯片技术备受瞩目。然而,在美国政府的出口限制之下,英伟达为确保在中国市场的地位,不得不推出性能较低但符合出口管制规定的AI芯片。尽管这一策略在美国备受争议,但英伟达似乎并未放弃
    的头像 发表于 02-25 11:21 586次阅读

    一加12R与一加12全球上市,国行版独享24GB内存

    对于容量为24GB的款式,由于曝光消息仅限于中国地区国行版本,因此暂无海外版相关报道。全球范围内出售的一加12预计仍沿用印度版本设定。
    的头像 发表于 01-02 10:09 573次阅读

    HarmonyOS:使用MindSpore Lite引擎进行模型推理

    ); OH_AI_ContextSetThreadAffinityMode(context, 1); //设置运行设备CPU,不使用Float16推理 OH_AI_DeviceInf
    发表于 12-14 11:41

    Rambus通过9.6 Gbps HBM3内存控制器IP大幅提升AI性能

    为增强AI/ML及其他高级数据中心工作负载打造Rambus 高性能内存 IP产品组合 高达9.6 Gbps的数据速率,支持HBM3内存标
    发表于 12-07 11:01 163次阅读
     <b class='flag-5'>Rambus</b>通过9.6 Gbps HBM3内存控制器IP大幅提升<b class='flag-5'>AI</b>性能

    全球首发 24GB 超级内存 一加 Ace 2 Pro 再造流畅新巅峰

    量产的 24GB LPDDR5X 内存手机,一加与行业领先的闪存方案品牌海力士深度合作,双方共同攻克了 24GB LPDDR5X 颗粒大规模量产的行业难题,为性能手机内存的行业突破树立了全新的里程碑。一加中国区总裁李杰表示,“我
    的头像 发表于 08-10 14:17 598次阅读
    全球首发 <b class='flag-5'>24GB</b> 超级内存 一加 Ace 2 Pro 再造流畅新巅峰

    美光推出业界首款8层堆叠的24GB容量第二代HBM3内存

    Micron Technology Inc.(美光科技股份有限公司,纳斯达克股票代码:MU)今日宣布,公司已开始出样业界首款 8 层堆叠的 24GB 容量第二代 HBM3 内存,其带宽超过
    的头像 发表于 07-28 11:36 656次阅读

    英特尔全新Gaudi2处理器面世中国市场,加速大规模深度学习训练与推理

    ,Gaudi2致力于以领先的性价比优势,加速AI训练及推理,为中国用户提供更高的深度学习性能和效率,从而成为大规模部署AI的更优解。 英特尔于中国市
    的头像 发表于 07-14 20:10 435次阅读
    英特尔全新Gaudi2处理器面世<b class='flag-5'>中国市场</b>,加速大规模深度学习训练与<b class='flag-5'>推理</b>

    GDDR6内存接口子系统的结构

    还有系统层面的设计。如果要确保系统在24Gb/s环境下运行,需要良好的系统级信号完整性。Rambus信号完整性的工程师,也会与客户进行非常紧密的从设计初期开始的合作,能够确保客户运行系统的时候达到最高的性能。
    的头像 发表于 07-14 16:28 594次阅读
    <b class='flag-5'>GDDR6</b>内存接口子系统的结构

    24GB内存手机并不是骁龙8 Gen2的极限?

    ,16GB对于绝大多数人来说已经够用了,不过你要是上24GB加量不怎么加价,那我还是资瓷的” 按照其中提到的信息来看,目前爆料中提到的24GB内存手机似乎并不是骁龙8 Gen2的极限,其最大可以搭载32
    发表于 06-30 11:37 706次阅读
    <b class='flag-5'>24GB</b>内存手机并不是骁龙8 Gen2的极限?