混合存储介质能解决AI能源问题吗

存储器的未来是巨大的、多样的，并且与处理紧密结合。这是最近在旧金山举行的国际电子设备会议上的一个受邀演讲所传达的信息。斯坦福大学电气工程师、台积电前研究副总裁、目前仍是台积电科学顾问的Philip Wong告诉与会的工程师们，现在是时候以新的方式思考内存和计算架构了。

当今计算问题的需求——尤其是AI——正迅速超过现有存储系统和架构的能力。今天的软件假定可以随机访问任何给定的内存位。将所有这些数据从内存来回移动到处理器会消耗大量的时间和能量。并不是所有的数据都是平等的，有些需要经常访问，有些不需要。Wong认为，这个“内存墙”问题需要关注。

不幸的是，工程师们继续关注的问题是，哪种新兴技术将取代目前由SRAM、DRAM和Flash构成的传统存储器。每一种技术——以及它们潜在的替代品——都有利弊。有些提供更快的数据读取；有些提供更快的写入；有些更耐用；其它的则有较低的功耗。Wong认为，寻找一种新的存储技术来统治所有这些技术是错误的做法。

“你找不到完美的存储。”

相反，工程师应该看看他们的系统需求，然后挑选哪些组件组合将工作得最好。Wong主张从特定类型的软件用例的需求开始。他说，选择正确的存储组合是“一个多维优化问题”。

一种存储不能满足所有的需求

Wong表示，试图让一种存储器在所有方面都做到最好——快速读取、快速写入、可靠性、保持时间、密度、能效等等——这让工程师们“工作得太辛苦了”，并展示了一张幻灯片，上面是一名电气工程师像西西弗斯一样推着齿轮上山。“我们在不知道一项技术将被用于什么的情况下，孤立地看待数字。这些数字可能无关紧要。”

例如，当设计一个需要频繁地、可预测地读取内存和不频繁地写入内存的系统时，MRAM、PCM和RRAM是不错的选择。对于将流式处理大量数据的系统，系统需要频繁的写入，很少的读取，并且只需要较短的数据生命周期。因此，工程师可以在速度、密度和能耗之间进行权衡，选择增益单元或FeRAM。

关于启动核电站为AI数据中心提供燃料的讨论，很明显，该行业已经意识到自己的能源问题。

灵活性可以带来很大的好处。作为一个例子，Wong指出了他在混合增益单元上的工作，它类似于DRAM，但每个存储单元使用两个晶体管，而不是一个晶体管和一个电容器。一个晶体管是硅的，提供快速读出；另一种存储数据而不需要刷新，并且基于氧化物半导体。当这些混合增益单元与RRAM结合用于AI/机器学习训练和推理时，与传统存储系统相比，它们提供了9倍的能源使用优势。

Wong说，至关重要的是，这些不同的存储器需要与计算更紧密地结合在一起。他主张将多个芯片集成在一个“系统”中，每个芯片都有自己的局部记忆，将每个芯片视为一个更大系统的一部分。在10月份发表的一篇论文中，Wong和其合作者提出了一种计算系统，该系统以硅CMOS芯片为基础，分层使用由STT-MRAM组成的快速访问致密存储器，用于非易失性存储器的金属氧化物RRAM层，以及高速高密度增益单元层。他们称之为MOSAIC（MOnolithic, Stacked, and Assembled IC）。为了节省能源，数据可以存储在需要处理的地方附近，而堆栈中的芯片可以在不需要时关闭。

在提问环节，观众中的一名工程师表示，他喜欢这个想法，但他指出，所有这些不同的部件都是由不同的公司制造的，不能一起工作。Wong回答说，这就是为什么像IEDM这样将所有人聚集在一起的会议很重要。关于启动核电站为AI数据中心提供燃料的讨论，很明显，该行业已经意识到自己的能源问题。“需求是发明之母。”他补充说。

原文链接：

https://spectrum.ieee.org/memory-ai-energy