你见过1EB的存储系统吗？堪称世界上最大的单一文件系统

近日，全球超级计算机领导者 Cray Inc. 宣布，Frontiersman Cray为“最大的单一文件系统”提供了5000万美元的存储合同，为美国Oak Ridge国家实验室（ORNL）Frontier exascale超级计算机提供1 exabyte的ClusterStor存储。

Frontier是价值6亿美元的Cray-AMD exascale系统，最高可达1.5 exaFLOPS，将于2021年交付，并于2022年验收。它将成为ORNL 200 petaFLOPS Summit超级计算机的后续产品。

Cray凭借其在5月份由AMD EPYC处理器和Radeon Instinct GPU驱动的Shasta超级计算机赢得了Frontier竞标，因此相关的存储合同并不出乎意料。

该存储解决方案是针对亿亿次级数据密集型工作负载的新设计，将基于下一代Cray®ClusterStor®存储和Cray Slingshot™高速互连。下一代Cray®ClusterStor®存储文件系统是基于Cray的Shasta™的架构，并且将作为ORNL国家实验室的的一部分集成到Frontier exascale超级计算机。

新的存储解决方案将由超过一兆字节（EB）的混合闪存和运行Lustre®并行文件系统的高容量存储组成。一个exabyte的存储空间是1000PB，这足以存储超过2亿个高清电影。存储解决方案将通过Slingshot系统互连到ORNL exascale超级计算机，实现系统上同时运行的各种建模，仿真，分析和AI工作负载的无缝扩展。该Frontier exascale超级计算机预计将于2021年首次亮相，成为世界上功能最强大的计算机，性能超过1.5 exaflops。

与ORNL目前的Summit超级计算机的存储相比，这种下一代解决方案，容量是其四倍以上（超过1 EB（或1,000 PB）而不是250 PB），另外和基于Spectrum Scale的存储系统的2.5 TB / s相比，吞吐量将超过4倍（高达10 TB / s）。面向ORNL的新型Cray ClusterStor存储解决方案将包含40多个存储柜，并在两层存储中提供超过1 EB的总容量，以支持数据的随机和流式访问。主层是用于高性能临时存储的闪存层，而辅助层是用于高容量存储的硬盘层。新的存储系统将成为ORNL的中心系统，该Frontier exascale系统将由具有ZFS本地卷的Lustre全局并行文件系统访问，所有这些都在一个全局POSIX命名空间中，这将使其成为世界上最大的单个高性能文件系统。

ORNL的Frontier项目主管Justin Whitt透露，新的解决方案将为科学家提供传统建模和模拟以及深度学习和数据科学所需的性能和容量。

HPC存储系统传统上使用大型硬盘阵列来满足大量可预测的数据读取和写入访问。这与人工智能和机器学习工作负载形成鲜明对比，后者通常混合使用小型和大型数据的随机和顺序访问。因此，传统存储系统不适合这些工作负载的综合使用，因为混合数据的访问和智能高速系统互连的需求，可以快速地在超级计算机上移动大量数据，从而使这些不同的工作负载在Frontier exascale系统上同时运行。

下一代基于ClusterStor的存储解决方案通过提供闪存和容量存储的混合来支持复杂的访问模式，强大的新软件堆栈以提高数据的可管理性和分层，以及通过计算和存储实现无缝扩展，从而解决了这些挑战。除了扩展之外，存储与Slingshot网络的直接连接消除了对大多数传统HPC网络所需的存储路由器的需求。此外，由于Slingshot是以太网兼容的，这样可以降低整个系统的成本，降低复杂性并降低延迟，从而提供更高的前所未有的应用性能和ROI。

通过将超级计算的性能和规模与云计算的生产力和完整的数据中心互操作性相结合，Cray的Shasta超级计算机，ClusterStor存储和Slingshot互连正迅速成为亿亿时代的领先技术选择。惠普正以13亿美元的价格收购Cray，该交易预计将在技术巨头2020财年的第一季度完成。这意味着HPE现在正处于亿元计算竞争中，并将提供自己的存储。Cray宣布其计算，软件，存储和互连功能正在为HPC和企业客户提供产品，预计可用性将从2019年底开始 。

值得关注的是，Cray / Intel Aurora exaflopper将于2021年推出，与Frontier一样。日本的Arm-powered Post-K exascale系统也即将到期，中国的天河-3可能会在2020年出现。ATOS为欧洲处理器计划提供的欧盟exascale计算机预计将在2021年推出其首批系统，其中1个exaFLOPS Gen 2 GPP Cronos系统将于2022年至2023年推出。IBM也将参加exascale竞赛，El Capitan也将于2021年参加Argonne领导计算机设施。届时存储社区将透露更多关于各大超级计算机上的存储系统。