青云致力下一代文件存储的产品和战略，持续发力企业级市场

在7月27日举办的Cloud Insight Conference 2018云计算峰会上，青云QingCloud推出一系列新产品和新功能，涵盖云平台、超融合、软件定义存储、容器、统一云管、云应用管理、基础设施与骨干网等，完善企业级云模式ICT产品线布局，持续发力企业级市场。青云QingCloud 存储高级技术专家宁安接受记者采访，分享了青云QingCloud致力于下一代文件存储的产品和战略。

随着IT技术的发展，企业数据正以爆炸式速度增长。从企业的信息化系统、移动互联应用、再到物联网的大势所趋，数据已经成为企业发展至关重要的生产要素。

一方面，数据海洋使得企业对于大数据的存储和分析需求增多，IT面临着越来越多的挑战；另一方面，软件定义存储（SDS）正在成为未来存储的主流方向，越来越多的存储解决方案在涌现，为企业用户有效解决数据存储、迁移、管理和保护。

根据IDC与Wikibon预测，中国未来几年的SDS市场年均增长率将达31．55％，2021年规模将达8．6亿美金。Gartner 2017年对中国SDS市场分析中指出，越来越多的非结构化数据正存放在由软件定义存储管理的低成本存储设备上，这其中，文件存储在当前市场需求中占据64．7％的主流份额，远高于块存储25％和对象存储10．3％的占比。

企业级文件存储发展趋势

企业级文件存储的应用场景非常广泛，不管是金融、制造、传媒娱乐、广电等诸多行业，都需要文件存储应用。特别是对于制造业而言，海量终端设备带来数据量的大幅增加，对于存储的需求也随之增长。

与此同时，文档内容管理目标也正在产生改变。一方面，企业产生的数据量呈指数级增长，信息资源爆炸式激增；另一方面，越来越多的非结构化数据正在诞生，IDC有报告指出，80％的企业数据将为非结构化数据。这意味着传统的信息资源管理技术已经无法应对大数据时代的挑战。

纵观企业级文件存储的发展趋势，2000年以前，主流的存储方案是采用传统的NAS硬件存储方案。这一时期，硬件控制器决定了存储系统的性能上限和容量上限，其资源难以被多系统共享，扩展性差、成本高。对于大多数企业而言，内部文件存储往往采用公司自己架设或者购买的服务器来作为存储介质。这种方式不仅成本较高，就安全性而言，也存在不少弊端。

2000年以后逐渐出现了分布式文件系统，主要分为两种架构：一种是以Hadoop HDFS和LusterFS为代表的集中式索引架构，这种架构的文件数量会受到单节点和索引节点容量限制；第二种是全对等Hash架构，完全抛弃单独的索引节点，其代表是GLuster和Ceph，这种架构的弊端在于扩展扩容不方便，一致性较差。

未来，是否将诞生下一代文件存储？下一代文件存储需要具备哪些特征？青云QingCloud 存储高级技术专家宁安接受e－works记者采访时指出，“未来的文件存储至少需要满足四大特性：首先，全面支持云应用，无缝兼容传统应用；第二，按需使用，弹性扩容；第三，智能管理与运维，避免人工运维带来的很多成本问题；第四，实现高可用，保证7＊24小时可用。”

Ceph架构下文件存储的优劣

在宁安看来，尽管Ceph是呼声很高的开源分布式的SDS产品存储系统，同时提供对象存储、块存储和文件存储三种功能，但仍存在着一定的短板和局限。

客观来看，Ceph架构的优势在于其扩展性，它的性能会随着磁盘数量线性增长，能够降低硬件成本和运维成本，但它的复杂性会带来较高的学习成本。
宁安在采访中介绍，如果用Ceph架构文件存储功能，通常会有三种方案：

其一，采用CephFS接口，当前仍是不稳定状态，不适合生产部署。此外，它的元数据服务是单点的，因此无法分布式部署；

第二种采用Ceph的块存储接口，通过块设备挂载到一个机器上，格式化本地文件系统，再对文件系统做NFS服务来暴露数据。这种方法的问题在于它只有一个单点，因为本地系统的限制，无法同时挂载两个，所以无法负载均衡；

第三种基于Ceph的对象存储接口＋FUSE的挂载来转化协议。这种方法的问题在于性能比较差，因为有协议转换的损耗，而且这是对象存储接口，限制不能随机修改。

由此也带来Ceph架构四个方面的问题：

首先是数据一致性问题。因为多份Hash在不同客户端有不同的状态，难以维持各个客户端状态一致，而Ceph架构的主要特点在于依赖客户端Hash实现数据定位，所以Ceph架构存在数据一致性问题；

其次是高可用问题，节点恢复和无法迁移时，需要改变Hash区间分布，一边改变一边迁移就会影响数据一致性访问。为了阐述Ceph存在的高可用缺陷，宁安举了一个真实案例：某大型企业有40多个节点的Ceph集群，某天两块硬盘同时出现故障，由于这两块坏硬盘的数据迁移恢复了10小时，过程中有部分数据是不能访问的；

第三是Ceph扩展性问题，这也是由Hash引发的问题。其扩容时每次只能增加一台，假如增加两台，Hash会受到损坏。扩容时只能等一台数据迁移完毕后，才能增加下一台。所以无法对它进行紧急扩容，只能一点点去做。

第四运维复杂，企业需要投入大量的人力、物力成本，甚至需要招聘特别懂Ceph的工程师。

青云QingCloud面向下一代的文件存储

为了顺应下一代文件存储四大特征，QingStor文件存储提出了三大创新架构：

首先，基于分布式块存储NeonSAN。它是具有高性能、强一致的块存储，没有本地文件系统在里面，涵盖分布式网关和NeonSAN两类节点；

第二，无限水平扩展。通过目录和文件分离存储的架构，元数据层存储所有索引目录，可以定位文件具体位置。还有一个组件是控制层，负责下层块设备的空间分配和事务管理；

第三，并行处理架构。所有的网关节点和NeonSAN节点是全互联的关系，每个节点之间都可以相互访问，且是通过最短路径。集群内数据复制与业务访问分离，分别通过不同的网络，因此在数据迁移和扩容时，不会对业务有任何影响。

宁安说，“基于QingStor文件存储的三大创新架构，QingStor文件存储的企业级特性可以做到安全可靠、强一致、高可用，并且具有超高性能、弹性可调，同时对成本做出了优化。”
除此之外，青云QingCloud面向下一代的QingStor文件存储还具备部署灵活和可视化管理的特性。

在部署环节，QingStor文件存储可以支持最小规模3节点的存储网关部署，与3节点块存储部署；对于网络，也没有特别要求，企业能够利用现有的交换机去部署TCP／IP网络，内部数据通信通过基于以太网的RDMA （RoCE），做到低延迟的数据复制；另外，企业可选的存储介质包括全闪存、在SATA基础上做SSD缓存加速，以及纯SATA。

为了更好地进行文件存储管理，QingStor开发了可视化管理的Portal，QingStor文件存储可以在Portal上，对于系统资源池进行管理，也能对于上层文件系统空间做管理，对于整个系统的运行状态和告警可以一览无余。

据了解，面向下一代的QingStor文件存储是青云QingCloud三款存储产品之一，另外还包括块存储方案NeonSAN，以块驱动的方式来暴露访问结果，适用于数据库和虚拟化场景；以及对象存储方案，能够存储海量的非结构化数据，是以HTTP API的方式暴露结果，主要面向新型web应用。