一文简析HBM的应用

新应用需要深入了解不同类型 DRAM 的权衡。

如何构建高性能芯片的选择越来越多，但附加内存的选择几乎没有变化。为了在汽车、消费和超大规模计算中实现最大性能，选择归结为一种或多种 DRAM，而最大的权衡是成本与速度。

DRAM 仍然是任何这些架构中的重要组成部分，尽管多年来一直在努力用更快、更便宜或更通用的内存取代它，甚至将其嵌入到 SoC 中。但 DRAM 制造商并没有保持不变，而是根据性能、功耗和成本推出了多种选择。这些仍然是基本的权衡，要驾驭这些因素，需要深入了解内存的使用方式、所有部件的连接方式，以及芯片或系统的关键属性是什么。

Rambus产品管理高级总监 Frank Ferro 表示：“我们继续看到对更多带宽内存需求的非常激进的趋势，即使在宏观经济形势下也是如此。有很多公司都在研究不同类型的内存架构。这包括解决带宽问题的各种方法，无论是具有大量片上内存的处理器还是其他方式。虽然这种方法将是最便宜和最快的，但容量非常低，因此人工智能算法必须针对这种类型的架构进行定制。”

Chiplets

Chiplets没有减少对附加内存的需求。总体而言，向异构计算（尤其是小芯片）的发展只会加速对高带宽内存的需求，无论是 HBM、GDDR6 还是 LPDDR6。

HBM 是三者中最快的。但到目前为止，HBM 一直基于 2.5D 架构，这限制了它的吸引力。“制作 2.5D 中介层仍然是相对昂贵的技术，”Ferro 说。“供应链问题并没有太大帮助。在过去的两年里，这种情况有所缓解，但它确实凸显了当你在做这些复杂的 2.5D 系统时的一些问题，因为你必须组合很多组件和基板。如果其中任何一件不可用，就会扰乱整个流程或造成很长的交付周期。”

用于最大数据吞吐量的 HBM 堆栈。来源：Rambus

将 HBM 连接到其他一些封装方法（例如扇出）或使用不同类型的中介层或桥接器堆叠芯片的工作已经进行了一段时间。这些将变得必不可少，因为更多的前沿设计包括某种类型的高级封装，这些封装具有可能在不同工艺节点开发的异构组件。

“很多 HBM 空间实际上更多地是关于制造问题而不是 IP 问题，” Cadence的 IP 集团产品营销集团总监 Marc Greenberg 说。“当你有一个内部带有硅中介层的系统时，你需要弄清楚如何构建一个带有硅中介层的系统。首先，如何在那里制造硅中介层？它比普通的硅芯片大得多。它必须变薄。它必须绑定到将要在其上的各种芯片。它需要封装。HBM 解决方案涉及很多专业制造。这最终超出了 IP 领域，更多地进入了 ASIC 供应商和 OSAT 所做的领域。”

汽车中的高带宽存储器

HBM 获得极大兴趣的领域之一是汽车。但仍有一些障碍需要克服，目前还没有解决这些障碍的时间表。

Synopsys产品营销总监 Brett Murdock表示：“HBM3 具有高带宽、低功耗和良好的密度”. “唯一的问题是它很贵。那是那个记忆的一个失败。HBM 的另一个缺点是它还没有资格用于汽车，尽管它非常适合汽车。在汽车领域，正在发生的一件有趣的事情是所有电子设备都在集中化。随着集中化的发生，基本上现在你的主干中有一个服务器。发生的事情太多了，不一定总是发生在单个 SoC 或单个 ASIC 上。因此，现在汽车公司开始关注小芯片，以及他们如何在他们的设计中使用小芯片来获得他们在该集中域中所需的所有计算能力。巧妙的是，小芯片的潜在用途之一是使用中介层。如果他们现在使用内插器，他们并没有解决 HBM 的内插器问题。他们正在解决小芯片的插入器问题，也许 HBM 会加入进来。然后，如果他们已经在为车辆进行小芯片设计，也许就不再那么昂贵了。”

HBM 非常适合这一领域，因为需要在车辆周围快速移动大量数据。“想想汽车中的摄像头数量，所有这些摄像头的数据速率和处理所有信息的速度都是天文数字。HBM 是所有汽车行业人士都想去的地方，”Murdock说。“成本对他们来说可能并没有那么高，因为它只是整理技术，整理汽车中的中介层，以及整理 HBM 设备的汽车温度。

不过，这可能需要一段时间。与此同时，GDDR 似乎是一颗冉冉升起的新星。虽然它的吞吐量比 HBM 更有限，但对于许多应用来说仍然足够，并且已经通过汽车认证。

Rambus 的 Ferro 说：“HBM 绝对会进入汽车应用领域，在这些应用中，汽车会与不动的东西对话。” “但在车辆方面，GDDR 做得很好。LPDDR 已经在汽车中，您可以用 GDDR 替换多个 LPDDR，获得更小的占用空间和更高的带宽。然后，随着 AI 处理的提升，LPDDR5 和 LPDDR6 开始达到一些相当可观的速度 [现在分别接近 8Gbps 和 10Gbps]，它们也将成为汽车中非常可行的解决方案。仍然会有一些 DDR，但 LPDDR 和 GDDR 将成为汽车最喜欢的技术。”

根据 Cadence 的 Greenberg 的说法，这种方法可能会在相当长的一段时间内运作良好。“仅使用标准 PCB 和标准制造技术的解决方案似乎比尝试在方程式中引入硅中介层并使其符合温度或振动或 10 年的要求更明智。一生。与 GDDR-6 相比，在车辆中验证 HBM 解决方案似乎是一个更大的挑战，在 GDDR-6 中，可以将内存放在 PCB 上。如果我在一家汽车公司负责一些汽车项目，我只会选择 HBM 作为最后的选择。”

边缘 AI/ML 内存

GDDR 和 LPDDR5，甚至可能是 LPDDR6，在一些边缘加速卡上也开始看起来像是可行的解决方案。

“对于进行边缘 AI 推理的 PCIe 卡，多年来我们已经在 NVIDIA 等公司的加速卡中看到了 GDDR，”Ferro 说。“现在我们看到越来越多的公司愿意考虑替代方案。例如，Achronix 正在其加速卡中使用 GDDR6，并开始研究如何使用 LPDDR，尽管其速度仍然只有 GDDR 的一半左右。它在爬升，它提供了更多的密度。这是另一种解决方案。这些给出了一个很好的权衡。它们提供了性能和成本优势，因为它们仍然使用传统的 PCB。如果过去使用过 DDR，则可以扔掉很多 DDR，并用一个 GDPR 或两个 LPDDR 替换它们。这就是我们现在看到的很多情况，因为开发人员试图弄清楚如何在成本、功率和价格之间取得适当的平衡。这始终是边缘的挑战。”

与往常一样，权衡是许多因素的平衡。

格林伯格指出，在当前 AI 革命的早期阶段，第一批 HBM 存储器正在被使用。“人们正在采用一种成本是无目标/带宽是无目标的方法。HBM 很自然地融入其中，有人希望有一个典型的例子来说明他们可以从系统中获得多少带宽。他们会基于 HBM 构建一个芯片，根据他们对该芯片的性能指标获得风险投资资金，而且没有人真的太担心这一切的成本。现在我们看到的是，也许您需要一些好的指标，也许是您可以使用 HBM 实现的 75%，但您希望它的成本降低一半。我们该怎么做？我们所看到的 GDDR 的吸引力在于它可以实现成本更低的解决方案，但带宽绝对接近 HBM 空间。”

默多克也看到了做出正确记忆选择的困难。“对于高带宽要求，通常他们会做出成本权衡决定。我是否会去 HBM，如果不是因为成本因素，它通常非常适合该应用程序？我们有客户询问我们有关 HBM 的信息，试图在 HBM 和 LPDDR 之间做出选择。这确实是他们做出的选择，因为他们需要带宽。他们可以在这两个地方的任何一个地方得到它。我们已经看到工程团队在 SoC 周围放置了多达 16 个 LPDDR 接口实例，以满足他们的带宽需求。当你开始谈论那么多实例时，他们会说，'哦，哇，HBM 真的非常适合这个要求。但这仍然归结为成本，因为很多这些公司只是不想支付 HBM3 带来的溢价。”

HBM 还需要考虑架构方面的问题。“HBM 一开始就是一个多通道接口，因此使用 HBM，您可以在一个 HBM 堆栈上拥有 32 个伪通道，”Murdock 说。“有 16 个频道，所以实际上是 32 个伪频道。伪通道是您在每个伪通道的基础上执行实际工作负载的地方。因此，如果您在那里有 16 个伪通道，而不是如果您将大量不同的 LPDDR 实例放到您的 SoC 上，在这两种情况下，必须弄清楚您的流量将如何定位整个通道中的整体地址空间定义。”

对于 AI/机器学习开发人员，LPDDR 通常采用 bi-32 封装，然后具有 2-16 位通道。

“你可以在你的架构中做出一个基本的选择，”他解释道。“从系统的角度来看，是否将内存上的这两个 16 位通道视为真正独立的通道？或者是否将它们放在一起并使其看起来像一个 32 位通道？他们总是选择 16 位通道，因为这给了他们更高性能的接口。在内存中，我有两个通道。我有两倍的打开页面，我可能会从中点击并通过页面点击减少我的整体系统延迟。它使性能更好的系统拥有更多更小的通道，这就是我们在 HBM 上看到的情况。从 HBM2e 到 HBM3，我们非常明确地放弃了该通道和伪通道大小以应对此类市场。我们甚至在 DDR4 的 DDR5 中看到了这一点。

对于边缘 AI 推理，Greenberg 一直在观察这些应用走在前沿，并发现 GDDR-6 是一项很棒的技术。“有很多芯片都希望具有该功能。这使 AI 推理接近边缘，因此可能会接收多个摄像头输入或多个其他传感器输入。然后，在边缘使用人工智能，你可以深入了解你正在处理的数据，而不是将所有数据发送回服务器来执行该功能。”

Greenberg 预计很快就会有大量芯片问世，这些芯片将具有各种有趣的功能，而无需将大量数据发送回服务器。他希望 GDDR6 在那里发挥重要作用。

“前几代 GDDR 主要针对显卡，”他说。“GDDR6 具有很多特性，使其更适合作为通用内存。事实上，虽然我们确实有用户将其用于显卡，但大多数人实际上将其用于 AI 边缘应用程序，”Greenberg说。“如果需要尽可能多的带宽，而且不关心成本多少，那么 HBM 是很好的解决方案。但是，如果不需要那么多的带宽，或者如果成本是一个问题，那么 GDDR6 在该领域发挥有利作用。GDDR6的优势在于可以在标准的FR4 PCB上完成。制造过程中不需要特殊材料。没有特殊工艺，甚至PCB本身也不需要背钻。它不需要有隐藏的过孔或类似的东西。”

最后，GDDR 领域的最后一个趋势是努力使 GDDR 对消费者更加友好。“它仍然有一些非常有利于图形引擎的规范部分，但作为一项技术，GDDR 正在朝着消费者的方向发展，”他说。“随着 GDDR 类技术的更广泛部署，它将继续朝着这个方向发展。”

审核编辑：刘清