主流超融合厂商技术对比

    

超融合基础架构（HCI）是继服务器虚拟化技术之后的一次重大IT技术革新，其特点是通过分布式存储技术将各个计算节点（Hypervisor）的存储资源整合为一个统一的存储资源池，给虚拟化平台提供存储服务，实现计算、存储、网络、虚拟化的统一管理和资源的横向扩展，保障用户业务的高可用。

在超融合基础架构中，虚拟化是基础，而分布式存储则是超融合的技术核心。从架构而言，HCI的分布式存储通常有两种方式来支持虚拟化，一种是以Nutanix NGFS为代表的采用控制虚拟机方式支持Hypervisor，如图一；另一种是直接在Hypervisor中集成分布式存储功能，如VSAN。业界除了VSAN外，其它HCI全部采用控制虚拟机方案支持VMware虚拟化，而对于KVM虚拟化，各厂家采用在物理主机中实现分布式存储功能。

图一

主流的超融合厂商有Nutanix（NGFS），VMware（VSAN），以及国内新兴代表力量如华为（FusionCube），H3C（OneStor），SMARTX（ZBS），深信服（aSAN）,和道熵（Titlis）。其中Nutanix的NGFS和SMARTX 的ZBS 脱胎于Google的GFS分布式文件系统；华为的FusionCube和H3C的OneStor是基于Ceph的定制化开发；而深信服的aSAN则是基于GlusterFS；VSAN在很大程度上和Ceph架构类似；而道熵的Titlis分布式存储在接口层兼容了标准Ceph接口，底层采用了磁盘阵列中常见的存储虚拟化技术。

根据对超融合产品的重要程度，我们选择了几方面的技术功能进行了相关考察：

1、抗静默错误

2副本或3副本机制可以保证在硬盘损坏甚至节点宕机的恶劣环境下，仍然保持高可用。但是面对“静默错误”的情况，分布式块存储的副本机制则无能为力，腾讯云在不久前的“静默错误”风波证明了这一点，后果也是相当严重，用户的所有数据全部丢失，无法修复。

静默错误译自英文：Silent Data Corruption。磁盘在使用过程中，除了会发生硬件错误、固件BUG或者软件BUG、供电问题、介质损坏等可以正常捕获和告警的常规故障之外，还会发生一些无法预警的错误，用户直到使用的时候才发现数据是错误的、损坏的，这就是静默错误。简而言之，就是用户在使用的时候发现写入数据和读取出来的不一致。

“静默错误”的概率不低。硬盘的误码率是“静默错误”产生的原因之一，根据官方数据，企业级硬盘每120Tb就会有一位静默错误的概率；另一方面，磁盘次记录磨损、磁盘幻象写、磁盘指向错误、DMA校验错误等等，都有可能引发静默错误，主板老化、内存条松动、连接线和卡的松动等都会导致读出的数据不是当初写入的数据。

在线数据完整性校验技术被认为是唯一能够有效应对静默错误的关键技术。 在线数据完整性校验技术确保每个数据块都有相对应的数据校验码，数据在读出时，必须与校验码匹配后才交付前端应用，否则，启动数据自修复机制。目前，在所有的超融合厂商中，只有Nutanix的NDFS和道熵的Titlis支持在线数据完整性校验和数据自修复技术。 VSAN只在全闪存环境中具备在线数据完整性校验功能。

2、应对大延迟问题

分布式存储常产生大延迟现象，随着节点数增多，数据量增大而频次提升。此现象的根源在于分布式存储共有的数据在磁盘间随机分布的特征造成的：小数据块随机落盘在不同节点磁盘上，由概率论可知，这就造成了每块磁盘上的工作流呈现“正态分布”，尽管多数磁盘的工作负载呈平均状态，而正态分布的“尾部效应”可知，有极少部分磁盘的工作负载远远超过平均值，成为系统中的“热点磁盘”而构成性能瓶颈，而带来大延迟问题。

市场上的分布式存储技术（除道熵Titlis外）有一个共同点，就是均采用2副本或3副本的方式实现数据在不同节点的磁盘上随机均匀分布，从而实现高可用和磁盘故障保护。在应对大延迟问题方面，道熵Titlis采用存储虚拟化技术将节点内存储资源池化管理，不仅实现节点内RAID保护，同时实现了节点内负载自动均衡功能，有效避免由“热点磁盘”导致的大延迟问题。

3、Flash加速

Flash缓存加速技术是分布式存储提升IOPS性能的重要手段。基于Ceph或GlusterFS的超融合厂商在该项技术面临挑战，因为原生的Ceph并没有一个成熟的Flash缓存技术手段，需要各个厂家自行研发解决方案。目前大都在Flashcache、bcache、lvmcache基础上进行二次开发，总体而言，其稳定性和性能差强人意。