AI大模型不断拉高上限，内存控制器IP提早部署，力拱HBM3E的到来

自2012年以来，大规模的AI训练所使用的数据集的计算量以每年10倍的速度增长。比如在2022年11月ChatGPT的版本参数是1750亿个，今年3月的版本使用的参数则达到1.5万亿个。随着AI模型数据量、复杂度在增加，HBM内存被彻底带火。这种高带宽高速的内存十分适合于AI训练场景。最近，内存芯片厂商已经不约而同地切入HBM3E竞争当中。内存控制器IP厂商Rambus也率先发布HBM3内存控制器产品，应对这一需求的到来。

RambusHBM3控制器

Rambus HBM3内存控制器IP可提供高达9.6 Gbps的性能，可支持HBM3标准的持续演进。相比HBM3 Gen1 6.4 Gbps 的数据速率，Rambus HBM3内存控制器的数据速率提高了50%，总内存吞吐量超过1.2 TB/s，适用于推理系统的训练、生成式AI以及其他要求苛刻的数据中心工作负载。它支持HBM3以及包括被命名为HBM3E的内存设备。

HBM3子系统包含HBM3控制器以及HBM3 PHY（物理层）。Rambus提供的控制器可以跟合作伙伴所提供的PHY来共同应用在这些内存组件上。如下图所示。



Rambus 接口IP产品管理和营销副总裁Joe Salvador先生表示，Rambus提供的是一整套完整的经过验证的解决方案， HBM3控制器不仅作为独立的产品，而且能够跟市面上目前比较常见的HBM3以及相关的内存模组进行匹配，像是与SK海力士、美光、三星等厂商完成了一整套的测试。另外，还经过了第三方来自西门子Avery的验证IP。并且与很多第三方PHY（物理层）也都是完全兼容的。



在此不得不提的是，早前Rambus将PHY IP业务出售给了Cadence。而在Joe Salvador看来这一战略性地出售，是与Rambus的商业生态有关。

他表示，我们的PHY业务当时发展也非常好，但是我们的控制器IP是提供给包括Cadence以及其他的PHY IP合作伙伴。当我们把PHY的业务出售给Cadence以后，可以帮助我们更好地去跟其他的PHY合作伙伴合作，因为我们已经不构成跟他们直接的竞争关系，而是成为很好的上下游的合作伙伴关系。控制器IP可以跟客户所选择的PHY进行很好的结合，并且都是能够通过大量的测试和验证，尽可能都保证一次流片成功，这对于客户来说是很大的价值。

Rambus接口IP的产品组合集中供货给数据中心市场以及人工智能和边缘计算。在内存控制器方面，Rambus所支持的内存类型包括DDR、LPDDR、GDDR以及HBM。而在接口IP所提供的互联控制器，可以支持CXL、PCIe以及MIPI。同时还提供视频压缩的IP，可以应用在MIPI以及DP（DisplayPort）接口。



此外，Rambus还提供最广泛的安全IP产品组合以及解决方案。特别是随着AI的发展，数据安全引来越来越多的关注。Rambus 大中华区总经理苏雷先生表示，Rambus提供安全IP全套方案可以为AI的安全保驾护航，这跟Rambus公司的使命，“让数据传输更快、更安全”不谋而合。

HBM内存控制器的设计挑战与Rambus的优势

HBM内存控制器的设计面临诸多挑战，首先是对于总体架构设计的复杂度和了解程度。Rambus已经有多年的设计控制器经验，其中包括HBM、GDDR、LPDDR以及DDR。

“正是因为这多年的经验，使得我们所设计出来的内存控制器可以做到性能高、功耗低，而且对于客户来说成本也相对较低。”Joe Salvador说道。

其次，Rambus拥有多年跟主流内存厂商合作的经验，把内存组件纳入到控制器的兼容性、以及相关的性能测试环节当中进行验证。同时，在进行架构设计时已经留足了一定的自定义配置空间，这样可以根据客户不同需求来选择相应的控制器。

另外，Rambus多年以来所构建的测试环境和验证环节，是跟许多的物理层提供商的合作伙伴共同去搭建的。那么控制器和物理层能够很好地集成在一起保持兼容，从而使得客户的子系统设计更容易成功。

应用领域不只于AI

值得注意的是，从规格的角度上来讲，目前所说的HBM3E还不是正式的行业标准规格。Joe Salvador说，，虽然英伟达H200已宣称采用了HBM3E，几家主流的内存厂商也都发布了HBM3E的内存，但实际上指的是9.6Gbps的HBM3。对于后续HBM4的规格和标准，目前业界有许多预测，Rambus也在进行相应的研究，会继续努力保持在HBM技术领域的行业领先地位。

至于HBM的应用领域，未来将不限于在数据中心、高性能计算方面。Joe Salvador表示，现在已经有一些显卡在使用HBM内存，暂时还不是主流。另外，HBM也可能会进入汽车行业，尽管目前还没有看到哪家公司推出经过验证的车规级芯片使用HBM内存，但前景可期。