微软「全息云存储」来了！玻璃做介质，用光记录或删除数据

你能想象吗，未来有望实现 “全系存储”了！什么意思呢，就是利用光来记录数据页、玻璃作为介质实现云上存储。全息晶体可以填充密集的数据，若想删除数据，只需用紫外光就能擦除，也太酷了吧！

这是微软研究院的一项新研究，文摘菌找到了研究人员的博客，来看看他们是怎么描述的吧~

数据存储一直是计算的一个重要原则，随着云计算的大量增长，对云数据存储的需求为重新回顾现有技术和开发新技术开辟了道路。据预测，到 2024 年，每年将产生约 125ZB 的数据，而以经济有效的方式存储这些数据将是一个巨大的挑战。

云也改变了微软对计算和存储的看法。在云计算中，服务被虚拟化。例如，在云数据存储中，客户购买的是存储容量和访问率，而不是物理存储设备 （参见图 1）。这种虚拟化为设计和优化仅适用于云的技术提供了新的机会。这在存储领域尤其有趣，因为当前所有的存储介质都是在前云时代创建的。云存储为具有不同功能的新存储设备提供了机会，既可以补充微软目前部署的现有存储技术，又可以解决云给存储带来的一些挑战。

微软研究院正在他们的光学云计划中直面这些挑战，研究人员正在研究新的方法来改善存储、计算和网络，通过汇集不同领域的技术专家来确定光学的新应用。借助微软在计算机系统和人工智能方面的专业知识，研究人员看到了将光学物理学家和工程师聚集在一起，产生影响的真正机会。人工智能是这一领域中具有巨大潜力的交叉领域之一，在深度学习等领域它继续快速进展。特别在光存储方面，研究人员对满足云当前和未来存储需求的机会尤其感兴趣。

图 1：云存储的现状。对客户来说，存储成本是访问速率和所需存储容量的函数。在云内，使用相关的存储技术对存储服务进行虚拟化和构建，以向客户交付所需的性能。虚拟化存储模型为存储技术提供了新的机会，这些技术为现有存储技术提供了新的和补充的特性。

在微软剑桥研究院，研究人员与微软 Azure 合作，一直在研究新的云优先的光存储技术。几年来，在 Silica 项目中，研究人员一直在开发一种使用玻璃存储介质的光存储技术。

在这项技术中，他们利用玻璃介质的寿命制作写一次读多次 （WORM）的归档存储。在最近的一篇热存储论文中，研究人员还谈到了现有的存储技术在云时代面临的挑战，以及它给新存储技术带来的机遇——两个特别的挑战是增加存储密度和访问率。在这篇博客文章中，研究人员介绍了 HSD（全息存储设备）项目，这是一个重新设想全息存储如何在云时代被利用的新项目。

他们发现，现在重新使用这项技术是特别有利的——在这个时代，云的影响力正在扩大，与光学相关的商品组件已经取得了很大的进步，新的机器学习技术可以集成到这个过程中。到目前为止，在他们的工作中，已经实现了比现有体积全息存储技术高 1.8 倍的密度，并且研究人员正在进一步努力提高密度和访问速率。

“用全新的视角审视全息存储这一古老的理念，并在云计算领域对其进行重新设想，在云计算领域，我们可以自由地在整个存储堆栈上进行创新，并从其他领域引入创意，使之成为一项可行的技术，这非常令人兴奋。”——Benn Thomsen，高级首席研究员。

全息存储如何工作？

全息存储利用光来记录数据页，每页以晶体内的微小全息图的形式保存数百 k 字节的数据。全息图在晶体中占据一个小体积，研究人员把它看作一个区域，在同一个物理体积或区域中可以记录多个页面。通过对记录的全息图进行衍射并在相机上捕捉光脉冲，将数据页读出。这将重新构造原始数据页。记录的全息图可以用紫外光擦除，然后再使用介质来存储更多的全息图——使其成为可重写的存储介质。

相比之下，在 Silica 项目中用作存储介质的玻璃由于其寿命和一次性写入的特性，适合长期存档存储。全息存储是热、读 / 写云存储的一个很好的候选，因为它是可重写的，并且具有快速访问率的潜力。

全息数据存储的想法可以追溯到 20 世纪 60 年代。到 21 世纪初，学术界和工业界的几个研究小组在展示全息存储介质所能达到的令人印象深刻的存储密度方面取得了重大进展。

为何重新利用全息存储作为云存储的一种解决方案？

在当今的存储解决方案中，访问速率是一个痛点。Flash 存储提供了很高的访问率，但相对昂贵，而且许多云应用程序将数据保存在硬盘驱动器 （hdd）上。由于硬盘的机械特性，访问这些数据的速度本来就比较慢。光学固有的并行性——并行读写多位的能力——一直是全息存储最吸引人的特征之一。

这种并行性具有提供高数据吞吐量的潜力。此外，查找或寻址不同的页面只需要光束的控制，而不需要大型机械系统的移动。通过使用电子设备，可以以比现有存储设备 （如 hdd）更高的访问速度实现这一点。在这种情况下，全息存储有可能具有更低的查找延迟，因此，以成本效益的能力提供更高的访问率。对于许多在访问存储时需要高访问速率和低尾延迟的云应用程序来说，这个特性特别有吸引力。

从头开始为云设计存储硬件也让研究人员摆脱了用户设备的限制，例如需要适应 2.5 英寸或 3.5 英寸硬盘的形状因素。云存储中最小的部署单元是存储机架，它允许以 “机架规模”设计新硬件，允许组件在整个机架上高效共享。

通过商用硬件和深度学习将全息存储带入当今

“与一个真正的多学科团队的人一起工作，包括光学物理学家 ， 电子工程师 ， 机器学习专家 ， 以及我的专业领域 ， 存储系统 ， 这真是鼓舞人心的工作。看看我们是否能最终破除来自构建云全息存储的挑战以及释放访问速率的红利。而这些是这项技术长期的承诺。”——Dushyanth Narayanan，高级首席研究员

研究团队专注于同时实现密度和快速访问率。他们已经部署了最近开发的高功率光纤激光系统，将读写时间减少一个数量级，以支持高访问率。他们还利用最近的高分辨率 LCOS 空间光调制器和相机的发展以增加密度，两者分别来自显示器产业和智能手机产业的发展的推动，特别是，高分辨率相机技术是关键，因为它允许我们将复杂的光学硬件转移到软件上。

图 2：过去 20 年，智能手机行业将普通相机的分辨率提高了 100 倍。在 HSD 项目中，研究人员利用这种分辨率来简化光学硬件，并将复杂性转化为软件。

在之前的技术水平，有必要使用复杂的光学来实现从显示设备到相机的一对一像素匹配，以最大限度地提高密度。如今，研究人员可以利用普通的高分辨率相机 （如图 2所示）和现代深度学习技术，将复杂性转移到数字领域。这让研究人员不用像素匹配就可以使用更简单、更便宜的光学设备，并用普通的硬件和软件来补偿由此产生的光学畸变。这种方法也降低了制造公差，因为系统可以在运行时在软件中进行补偿和校准。利用这种高分辨率商品组件和深度学习的结合，已经能够将存储密度提高 1.8 倍。

“看到团队如何在高分辨率图像上利用机器学习去完成以前需要使用昂贵的光学设备才能完成或者根本无法达成的工作，推进全息存储性能超越当前技术水平，令人无比兴奋。”——Sebastian Nowozin，合作研究员

展望：规模化面向云的光存储方案

尽管已经看到在单个区域中可以获得令人信服的写入 / 读取时间和存储密度方面的性能，但使全息存储适用于云的挑战在于开发可通过增加区域数来扩展存储容量的方法，同时保持多区域具有相同的访问速率。该领域中的先前方法只是机械地移动了介质，但这太慢了。

为了解决这个问题，研究人员目前正在演示一种不需要机械移动就能保持访问速率的多区域方法。在 HSD 项目中，全息存储的未来目标是创造一种专为云量身定制的技术，具有快速的访问速率和大大超过其前辈的存储密度。想要了解更多关于 HSD 项目和用于云研究的光学，可查看 Azure CTO Mark Russinovich 在微软 Ignite 2020 上的发言和项目页面了解更多细节。
责任编辑：PSY