数据存储正面临四大挑战，要满足哪三个主要特征

随着智能时代的到来，数据成为重要的生产要素。人工智能、云计算、物联网、大数据等新技术推动包括工业、农业、服务业等许多行业、产业进行大规模的数字化变革，逐渐形成以数据+智能为中心的新型业务，推动服务化延伸、网络化协同、智能化生产和个性化定制等新的变化。

日前，华为智能数据与存储领域副总裁张福鹏在#∑co时间#活动中分享了题为“站在未来看现在：智能时代数据存储产业谈”的演讲，带大家走进了精彩的存储未来世界。

智能时代，数据存储正面临四大挑战

挑战1：生产交易类数据高并发、低延时、高可靠

据张福鹏介绍，随着5G带来的大带宽、低时延，对数据处理速度、频度、可靠性提出了新的要求；以金融交易为例，我们每天用到的微信、支付宝等小额支付，使得交易量增长10倍以上，而且在线购物也不再受门店营业时间的限制，必须做到7x24小时不间断服务。这些都对数据交易的时延、可靠性等提出了前所未有的挑战。

挑战2：海量非结构化数据存储，长期保存与价值挖掘

类似今日头条每天50PB的数据，绝大多数都是非结构化数据。窄带和宽带物联网、4K/8K视频、自动驾驶等多数据源、多模数据的大量采集、长期保存、冷数据变温数据等带来了新的海量数据存储需求。

挑战3：数据无缝流动，融合高效的处理与分析

数据要长期保存，更要无缝流动才能产生更多的价值。从实际业务来看，在距离数据产生最近的边缘场景，比如摄像头，IoT，传感器等，数据如何存储和高速处理，如何提供边、中心、云的统一数据保护和管理，既可以让数据高速流动，又能做到每比特成本最优，价值最大，也是我们企业全场景业务面临的新挑战。

挑战4：数据全生命周期管理，场景化、智能化、降本增效

数据全生命周期管理，从数据产生的源头，实现边云协同叠加AI的能力。业务希望能充分利用云上数据量大的优势形成基线，同时在本地增量训练。结合具体业务提供个性化调优，实现对数据生产、分析、备份、归档的全生命周期的智能化管理。这也是颠覆传统IT架构，从数据视角打破边界，构建数据基础设施的一个重要理念。

预见|智能时代存储

智能时代，存储应该具有哪些特征才能更好的应对新技术、新业务带来的新挑战呢？张福鹏表示，智能时代数据存储要满足三个主要特征，即智能、融合、高效。

智能

智能时代的数据存储要充分利用AI的能力实现Storage for AI和AI in Storage，进而承载数据全生命周期智能管理。

华为OceanStor在边缘存储端加入了AI芯片，实现个性化AI，存储自身基于AI芯片对存储数据进行深度学习，实现存储设备的独特性能优化。

同时将边缘存储的数据采集上传云端，数据在云端经过训练和建模后，形成通用模型发布给边缘存储，存储AI芯片再基于通用模型进行强化学习，与自身数据特征结合，培训建模形成个性化模型，再来指导存储实现场景预测、故障推理。整体形成一个端云协同AI芯片加速的自驱动。

为了应对万物互联智能时代数据存储的易管理、易运维需求，华为还提供了基于AI使能的自动化数据管理系统，帮助用户实现数据自动化与智能管理与运维。而在全生命周期数据管理方面，华为则将存储系统的智能管理分为三层，即设备层、数据中心层、和云上云下，通过三层联动，实现高效的运维运营。

数据融合

除了智能化管理，面向多模数据、多级介质、边、中心、云物理位置、多种协议带来的数据孤岛，融合是华为持续追求的。

智能时代存储如何打通数据孤岛，实现从端到云的融合互通能力，华为认为有几个地方需要重点考虑：异构融合、多服务融合、分级归档融合、生产分析融合、端-云融合。

当然，面向实际的业务场景，还需要考虑包括数据库与存储融合、万核级调度等，这些都是华为持续要构建的存储能力，让数据存得下、流得动、用得好。

极致可靠

智能时代存储三大特征，除了智能、融合这两个非常重要的特征之外，面向实际业务需求，还需要高效的数据存储与管理。这里面可分解为极致可靠、极致容量和极致性能三个方面来分析。

在高可靠性领域，不仅仅是在架构层面，在组件（硬盘）、系统（RAID）、解决方案（双活）层面同时要有大量的创新。

硬盘的可靠性是存储系统的基础，华为在盘级可靠性上做了大量的研究，并把结果应用到华为自研的SSD上，比如擦写次数是SSD盘片寿命的主要因素，华为在硬盘上采用了SSD全局磨损均衡&全局反磨损均衡的专利技术，来提升SSD寿命。

在架构可靠方面，智能时代存储架构也需要考虑通过前端共享互联、控制器全互联、后端共享互联，真正意义上实现：全局互联、全局负载均衡，做到更可靠更均衡。而目前华为存储的架构可靠性已经领先于业界同类产品。

在系统可靠方面，随着趋势的发展，大盘时代来临，硬件+算法才能构筑系统级的高可靠能力。华为RAID-TP通过创新的数据校验算法，可以实现系统内3个盘同时失效，业务不受影响。

在方案可靠方面，要实现免网关双活的极致可靠，站点间要求实现负载均衡，RPO=0 & RTO≈0。此外，专属硬件设备可以做到存储互通，在3DC更高级别可靠性上可以实现灵活组网，同时降低容灾系统建设成本。

在云级可靠方面，在生产中心方案级可靠的基础上，通过存储系统的容灾特性，如秒级快照、备份、统一管理等，实现灾备中心，以及云上中心的融合数据管理，做到中心间分钟级的可靠性，和云上云下小时级的灾备与恢复。

极致容量

面对海量数据爆炸式增长，新业务对数据存储和管理不但要求持久化、数据不丢失，更要考虑极致的容量和性价比。

面向全闪存的时代，存储具备了智能芯片，弹性EC算法提出了EC聚合方案，多个数据块可以在一个EC分条上进行聚合，以获得性能和EC利用率的双重保证。通过弹性EC技术，可以将EC比例提升到22+2，磁盘利用率达到91.6%，并且，在相同的硬件条件下，其性能可与传统三副本性能持平，让存储利用率和可靠性提升有商用价值，支撑企业在云时代转型走得更远。

在计算存储分离方面，华为提供基于原生HDFS协议的分布式存储，不但简化了大数据海量数据存储的配置和管理，同时可以使能计算与存储按需扩容，实现价值最大化。

极致性能

华为认为，对于智能时代的存储，要充分利用芯片+算法+架构来全面提升性能、降低延时，为业务带来新的价值。

为了实现端到端关键路径加速，从传、算、智、管、存上引入关键芯片。同时在算法方面，华为存储以创新的Flashlink盘控配合算法，能够实现控制器、硬盘框和SSD盘的联动。

而为了支持数据中心的网络存储，华为通过NVMeover Fabric可以实现NVMe标准在多种网络上的扩展，达到降低存储网络协议栈处理开销并提供高并发低延时应用，适应SSD介质驱动的存储架构演进。

同时，为了在前端数据传输阶段，加速NVMe协议传输效率，华为存储还设计了新的DTOE智能网卡。上一代使用的TOE网卡，只是较传统网卡，实现了部分数据传输卸载处理，依然存在内核中断产生的高延迟开销。

华为OceanStor：智能+硬件+算法，打造智能时代存储新架构

华为OceanStor面向智能时代存储打造了基于“智能+硬件+算法”的创新架构，基于Memory Fabric打造以内存/SCM为中心的极致性能层，基于ALL IP的全闪存极致成本和高性能的容量层，提供数据存储的智能分层管理。

同时面向CPU / NPU/GPU基于创新算法和高速互联协议提供万核级计算资源池化，智能调度；面向业务提供基于容器的异构微服务化，打破内存性能墙、算力墙、协议墙等边界；

还基于数据全生命周期的智能管理系统，为万物互联的智能时代持续提供符合时代要求的创新存储产品。

谈到2020年华为在存储领域的目标时，张福鹏表示：在2020年，我们将围绕数据基础设施的三大核心场景，即生产交易、数据湖以及边缘上提供业界领先的解决方案。

面向生产交易，我们持续推进闪存普惠，在永快、永稳、永智方面持续发力，采用全新的硬件设计、面向全闪存的FlashLink架构以及久经验证的OceanStor OS操作系统，从架构稳定性、业务高性能、到运维智能化方面，进行技术创新和升级。

面向数据湖，我们基于高效弹性EC算法，业界第一的高密大容量硬件，满足海量数据高效存取需求；通过原生HDFS协议实现大数据存算分离，计算存储独立扩展，为实现TCO大幅度节省；基于Kunpeng芯片算力卸载+AI Fabric无损网络打造性能标杆；非结构化协议互通，让HPDA/AI等数据分析无需复杂数据拷贝，效率提升1倍以上；数据生命周期管理方面实现业界首个块、对象、大数据、文件多数据服务统一管理。

面向边缘，我们提出极简、智能的智能边缘解决方案，运用云上通用智能+边缘个性化智能协同技术，基于AI全生命周期智能管理，从资源发放到故障定位全方位智能，使得容量趋势提前365天，性能趋势提前60天预判、系统提前14天发现故障盘、93%问题发现即给出方案。创新的智能芯片+边缘协同的算法，树立了存储业界智能化的新标杆。

写在最后，华为公司经过了18年的技术研发，已经进入到快速增长期。截止到2019年Q4，连续四季度持续保持30%左右的高速增长。华为在中国市场已经连续5年保持了第一的市场份额，并在2019年第四季度全球销售收入排名升至第三，显现实力。这都归功于长期不断的在基础的硬件、算法、系统以及架构上的科研开发。

未来，华为公司会持续投入技术研究，并在产业组织、专利和研发多方面深耕，在智能时代存储产业向下扎到根，保障我们长期能提供最先进、最好的产品解决方案。同时，华为携手合作伙伴，打造智能、融合、高效的存储产品和方案满足客户创新数字化和云化转型需求。

责任编辑：gt