大数据时代数据存储技术的发展

数字经济时代，数据成为新的生产资料，数据驱动体验、数据驱动决策、数据驱动流程的各种应用正不断上演。5G、云、AI加速行业数字化转型，海量数据时代已经到来。海量数据促使企业从数据管理走向数据运营，目前，正面临三大挑战：一是成本高、存不下；二是效率低、流不动；三是自动化差、管不好。

Hadoop1.0时代，计算和存储是高度融合，仅能处理单一的MapReduce分析业务；Hadoop2.0时代，计算层与数据开始解耦，通过Yarn实现了独立的资源管理，并开始支持Spark等更多的计算引擎；而如今来到Hadoop3.0时代，计算存储已分开演进，通过Hadoop EC来支持冷数据的存储，同时引入外置存储，如S3，增强其存储底座能力，逐步向数据湖架构演进。Hadoop3.0时代，计算正向轻量化和容器化方向发展，计算存储分离演进已成为事实。计算存储分离后，我们用企业级的存储基座替代原来的原生大数据存储基座，好处是可以把当前企业级存储的先进技术带入到大数据里面来，如高可靠、高利用率、多协议融合等，更好地释放数据的价值。

举个例子来说，2018年，华为创新性推出基于OceanStor Pacific系列的大数据存算分离方案。在成本方面，华为大数据存算分离方案实现存算分离，资源按需独立扩展，弹性EC、冷热数据分级，存储成本大幅降低。在数据应用效率方面，华为OceanStor Pacific系列采用全对称分布式NameNode，集群性能和支持文件数随节点数目增加线性提升，单一命名空间支持文件数达百亿级。在实际操作运维方面，华为OceanStor Pacific系列提供的原生HDFS接口提供了更佳性能和使用体验。通过ViewFS或Hbase元数据网关方式可实现新老共存，实现存算一体向存算分离的平滑演进，保护用户已有投资。
责任编辑：tzh