西部数据推出分区存储技术 引领数据中心进入ZB时代

这是一个万物皆可数字化的时代，我们的世界正在全面交由0和1来构建。IDC的报告指出，现在每一年人类所创造的数据总量都相当过去人类历史中产生数据的总和。根据预测，2023年人类数据的产生将会超过100个ZB（数据单位量级GBTBPBEBB）。

过去几年，全球及中国的ICT市场规模一直处于快速增长态势，尤其是IT技术架构市场，北美和中国是数据中心市场的主要带动区域，而中国仍然是整个全球ICT市场增长速度最快的。

到2025年，无论是用户产生的，还是IoT设备捕获的数据，或者是数据中心创建并复制的数据，将会达到“ZB”级别（1ZB=1,073,741,824TB），与我们现在常接触到的存储容量单位TB、GB相比，是一个非常巨大的数字。我们将会迈入一个全新的数据时代。

而在这个大数据时代，如何处理海量数据就变得相当关键。从现在的趋势来看，解决ZB级数据的存储和处理有三种方式，分别是多云间的数据流动、数据分层与智能化。

其中根据数据的热度分级选择存储介质和存储方式是很关键的。在数据中心或是云服务器里面，数据分层的情况很普遍，我们上传到云端的冷数据和热数据的区别是非常明显的。据IDC的数据显示，整个数据中心的冷数据可以占到整个比例的60%-90%，这部分数据包括长期保存的数据和容量导向的介质所存储的数据，对于存储容量的要求是非常大的。

随着数据规模的不断扩大以及应用程序需要负载的工作更多样，如何更好地存储大量数据？如何有效管理数据爆炸的数字化时代？

在这个大背景下，数据存储技术和架构的革新迫在眉睫。

6月12日，西部数据公司宣布推出分区存储技术，旨在为云和超大规模数据中心架构师融合创新与行业标准，从而设计出高效的存储层，帮助用户在ZB级容量的存储时代保持具有竞争力的总体拥有成本，实现更大的规模效益。

西部数据指出，82%的数据在2022年都会变为流媒体数据写入的视频数据，通过在存储部件中建立不同的分区，根据数据的不同类型在存储固件中存储、转移和管理数据，将会提高整个存储效能，并且作为定制化的数据基础架构的时候，可以把控制和智能协同从原来的系统硬件的层面，下沉到系统存储部件的层面。

针对于此，西部数据提出了基于开源技术的分区存储的技术提案，这套新的存储技术不仅包含了开源工具和文件系统支持，还包括了面向数据中心的SMR（叠瓦式磁记录）超大容量HDD以及ZNS NVMe SSD开发平台。

（分区存储设备原理示意图 来自Zonedstorage.io）

开发套件中的软件库囊括了最主要的开发工具、数据库和相关的命令集库，并且都会公布在开源社区网站Zonedstorage.io，该网站提供了软件开发库、工具、ZNS信息、SMR资源和参考架构等，帮助数据中心基础架构工程师更好的利用分区存储技术。这也是西部数据作为在NVMe联盟持续贡献以及长期为开源社区提供基于SMR开发工具的延伸。

打造整个分区存储生态，显然不单单是软件就能解决的。除了推出ZonedStorage.io网站外，西部数据的产品套件还包括Ultrastar ZNS NVMe开发SSD和Ultrastar DC HC620 SMR HDD 15TB。Ultrastar DC HC620 15TB现已推出并向已通过验收的客户批量供货，Ultrastar ZNS NVMe开发SSD也将向部分客户开放。并且西部数据还透漏将在明年出货20TB容量的SMR HDD。

预计到2022年，HDD和SSD的支出将达到IT基础架构总支出的27%。而采用SMR技术的HDD可以做到比普通HDD更大的容量，甚至高达20%，它的容量优势对于数据中心降低其总拥有成本（TCO）是非常重要的。例如在一个1ZB级的超大规模数据中心，全部采用20TB的SMR HDD的话，将可以减少2500万个硬盘、42000个60槽位机架数量，并且相应的温控成本也会下降。

另外一点，SMR目前已经得到了生态系统当中广泛的支持，包括内核的支持，SUSE已经全面支持SMR，而SMR在硬件方面需要IO控制器、HBA和拓展其产品的支持，现在包括HBA的厂家、ATTO、BROADCOM、MICROCHIP等等都推出了支持了SMR的产品。西部数据甚至把今年看做是SMR HDD推入部署的元年，预计在2023年，全世界将有超过50%的数据会在SMR HDD中存取。

（NVMe划分区域中的命名空间数据放置示意图 来自Zonedstorage.io）

西部数据还宣布针对早期分区存储工作推出ZNS（分区命名空间）开发SSD。ZNS是NVMe标准规划内的新特性，也是对SMR技术的补充，它让开发人员在共同的软件堆栈下可以不分存储介质类型有效的调用SMR和ZNS。ZNS SSD通过将“区域”与SSD的内部物理属性进行匹配而实现这些改进，有效的减少数据存放低效能的现象，旨在减少写放大，增加可用容量，并提供更高的吞吐量和更低的时延。

西部数据分区存储架构将会赋能应用层、主机和存储互相协调数据存放位置，以充分利用在SMR HDD上可以实现的最大存储容量，以及ZNS SSD上实现更好的耐久性和可预测的低延迟和QoS性能。

随着生态系统的不断发展和SMR的推广，西部数据致力于在提供高容量的同时不断演进能源辅助磁记录技术。目前也有越来越多的云服务提供商正在投入资源管理高容量SMR HDD的主机软件，SMR和ZNS正在从根本上重塑云和企业数据中心，将通过智能化应用架构成为当前和未来ZB级数据时代的关键基石，以便协助大体量客户实现更好的TCO。