Advance创新技术提高数据中心存储的效率

麻省理工学院的研究人员设计了一种新颖的闪存系统，可以减少数据中心最昂贵组件之一所需的能量和物理空间的一半：数据存储。数据中心是促进用户和Web服务之间通信的服务器群，是世界上耗能最多的设施之一。其中，数以千计的耗电服务器存储用户数据，而单独的服务器运行访问该数据的应用服务。其他服务器有时会促进这两个服务器集群之间的计算。

如今大多数存储服务器都使用固态硬盘(SSD)，它使用闪存 - 电子可编程和可擦除存储器微芯片，没有移动部件 - 以高速处理高吞吐量数据请求。在ACM国际编程语言和操作系统架构支持会议上发表的一篇论文中，研究人员描述了一个名为LightStore的新系统，该系统修改了SSD以直接连接到数据中心的网络 - 无需任何其他组件 - 并且支持计算上更简单，更高效的数据存储操作。进一步的软件和硬件创新将系统无缝集成到现有的数据中心基础设施中。

在实验中，研究人员发现一个由四个LightStore单元组成的集群，称为存储节点，其运行效率是传统存储服务器的两倍，通过现场数据请求所需的功耗来衡量。群集还需要不到现有服务器占用的物理空间的一半。研究人员通过个人数据存储操作分解了节能，以此更好地捕获系统的全部节能。例如，在“随机写入”数据中，这是闪存中计算量最大的操作，LightStore的运行效率几乎是传统服务器的八倍。

希望有一天，LightStore节点可以取代数据中心的耗电量大的服务器。“我们正在用更简单，更便宜的存储解决方案取代这种架构......这将占用一半的空间和一半的功率，同时提供相同的吞吐量容量性能，”共同作者，计算机科学的约翰逊教授Arvind说。工程学和计算机科学与人工智能实验室的研究员。“这将有助于您的运营支出，因为它消耗更少的电力和资本支出，因为数据中心的节能直接转化为节省资金。”

加入Arvind的论文是：第一作者Chanwoo Chung，电气工程与计算机科学系的研究生;研究生Jinhyung Koo和Junsu Im，Sungjin Lee教授，大邱庆北科技学院(DGIST)。

当今数据中心的一个主要效率问题是架构没有改变以适应闪存存储。多年前，数据存储服务器由相对较慢的硬盘组成，还有许多动态随机存取存储器电路(DRAM)和中央处理单元(CPU)，可帮助快速处理从应用服务器涌入的所有数据。

然而，今天，硬盘大多被更快的闪存驱动器取代。Chung说：“人们只需将闪存插入硬盘所在的位置，而无需改变任何其他内容。”“如果你可以直接将闪存驱动器连接到网络，那么根本不需要这些昂贵的存储服务器。”对于LightStore，研究人员首先根据“键值对”修改了SSD，这是一种非常简单有效的检索数据的协议。基本上，用户请求显示为键，如一串数字。密钥被发送到服务器，服务器释放与该密钥相关联的数据(值)。

这个概念很简单，但是密钥可能非常大，因此仅在SSD中计算(搜索和插入)它们需要大量的计算能力，这被传统的“闪存转换层”所消耗。这个相当复杂的软件在闪存驱动器上的单独模块上运行，以管理和移动数据。研究人员使用某些数据结构技术仅使用一小部分计算能力来运行此闪存管理软件。在这样做的过程中，他们将软件完全卸载到闪存驱动器中的微小电路上，该电路运行效率更高。

这种卸载释放了驱动器上已有的独立CPU - 旨在简化和更快地执行计算 - 运行自定义LightStore软件。该软件使用数据结构化技术来有效地处理键值对请求。基本上，在不改变架构的情况下，研究人员将传统的闪存驱动器转换为键值驱动器。“所以，我们正在为闪存添加这个新功能 - 但我们真的没有添加任何内容，”Arvind说。

然后面临的挑战是确保应用服务器可以访问LightStore节点中的数据。在数据中心中，应用程序通过各种结构协议访问数据，例如文件系统，数据库和其他格式。传统存储服务器运行复杂的软件，通过所有这些协议提供应用服务器访问。但是这使用了大量的计算能量，并且不适合在LightStore上运行，LightStore依赖于有限的计算资源。

研究人员设计了非常计算轻便的软件，称为“适配器”，它将所有用户请求从应用服务转换为键值对。适配器使用数学函数将有关所请求数据的信息(例如来自特定协议的命令和应用服务器的标识号)转换为密钥。然后，它将该密钥发送到相应的LightStore节点，该节点查找并释放配对数据。由于该软件在计算上更简单，因此可以直接安装到应用服务器上。

“无论你访问什么数据，我们都会进行一些翻译，告诉我关键和与之相关的价值。在这样做的过程中，我也会从存储服务器中获得一些复杂性，”Arvind说。

最后一项创新是将LightStore节点添加到集群中与数据吞吐量成线性比例 - 数据处理的速率。传统上，人们将SSD堆叠在数据中心以解决更高的吞吐量问题。但是，虽然数据存储容量可能会增长，但仅在少量额外驱动器之后吞吐量就会稳定下来。在实验中，研究人员发现四个LightStore节点的吞吐量水平超过了相同数量的SSD。