0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何选择合适的存储架构:集中式存储or分布式存储

要长高 来源:霄云碧海存储 作者: shxy 2022-05-06 17:27 次阅读

存储技术发展日新月异。一方面传统集中式SAN/NAS还在广泛使用,另一方面各类分布式存储产品已纷纷在新兴的海量数据场景中占据市场。如何根据业务需求选择合适的存储架构?分布式存储能否在所有场景都能取代传统集中式存储?请参考本文攻略。

01传统集中式存储

传统SAN/NAS存储的硬件架构采用“控制器+硬盘柜”的方式。中高端存储支持多个控制器,以保障高可用并提高性能。多控制器为紧耦合,通过PCIE总线或Infiniband网络互连,共享磁盘阵列,共享缓存。

pYYBAGJ06WGAa2yjAAEDd8cmhVk029.png

传统存储的系统架构具有I/O路径短,访问延迟小的优势。传统存储通过内置BBU电池或外置的UPS来实现掉电保护,保障缓存中的数据在掉电后不丢失,结合双活、容灾、CDP等技术保障业务系统的连续性和数据安全性。

传统集中式存储起步早,技术成熟,架构简单,表现出足够的稳定性,对高IOPS、低延时、和数据强一致性有很好支持。另外,近年来全闪存阵列存储发展迅速,IOPS性能提高到机械硬盘存储的100倍以上,能够有效解决IOPS性能痛点。

传统集中式存储的特性适合作为金融/医疗等核心业务系统的数据库存储。

传统存储的系统架构决定了其扩展能力有限,无法很好支撑高并发访问性能。随着我们进入大数据时代,集中式存储增长空间越来越有限。

02分布式存储

企业不断快速增长的海量数据,需要更有弹性可扩展的存储架构。

分布式存储是新兴的存储技术,采用“标准的x86服务器硬件+存储软件”的架构,将标准X86/ARM服务器通过高速以太网或Infiniband互连,通过分布式存储软件将服务器本地的HDD、SSD等存储介质组织成统一的大规模存储资源池。分布式存储实现了存储的硬件与软件解耦,数据中心能够以标准化硬件搭建存储平台,提升IT敏捷性,降低运维成本,符合软件定义数据中心的发展趋势。

分布式存储也称为软件定义分布式存储(SDS: Software Defined Storage)。

poYBAGJ06WiAZwtuAACp_l6YoFc920.png

分布式存储的存储单元为x86/ARM服务器(也称为节点),以标准2U 存储服务器为例,前面板可插入12块3.5寸硬盘。

硬盘的容量,有:

4TB\6TB\8TB\10TB\12TB\16TB等。

如果选择10TB硬盘,则单个节点的物理容量为 12 * 10 = 120TB。

分布式存储有效解决了传统集中式存储的可扩展性问题,规模可扩展至上千个节点,容量扩展到上百PB甚至EB级,性能随容量线性提升。按需在线扩容后,自动实现数据再均衡。分布式存储的多个存储节点能够同时提供读写服务,因此具有很高的吞吐率,可达到几十GB/s。

分布式存储支持3种存储功能,能够打造统一的数据存储平台:

1、SAN块存储,SCSI/iSCSI接口协议

2、NAS文件存储,CIFS/NFS接口协议

3、对象存储,S3接口协议

分布式存储使用多副本和纠删码技术实现数据保护。多副本方式(业界常用的多副本方式一般为2副本或3副本),其优点是可靠性高,性能高;但缺点是存储容量有效利用率低(2副本为50%,3副本为33%)。业界常用的纠删码配置方式一般为8+4(8个数据块,4个校验块,容量利用率为66%)。纠删码的优点是可靠性高,容量利用率高,缺点是性能低。

一般选择原则是:

1、在线存储设备用多副本;备份归档用纠删码;

2、小文件用多副本;大文件用纠删码。

目前,国内有多种分布式存储产品可以选择,包括开源软件、基于开源软件优化的产品、国产研发的分布式存储产品等。

poYBAGJ06XCAT-AxAAAqXqoJqkA818.png

上海霄云研发的碧海分布式存储,性能优异,解决了海量小文件存储的痛点,性能达到传统集中式高端存储和Ceph类产品的3倍,文件数可达到百亿级以上,为医疗PACS影像、金融电子票据、自动驾驶工业自动化等海量数据场景提供了革新的存储解决方案。

03结语

poYBAGJ06XeAPZ4WAABSKPTsxKg175.png

综上所述,分布式存储是一种未来主流的存储技术,具备非常好的发展前景,但是分布式存储并不能适应所有的业务场景,需要根据实际的业务需求进行合理选择。

霄云科技研制的碧海分布式存储系统,已经广泛应用于医疗、金融、电信、教育等领域的核心生产系统,深受用户好评。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储技术
    +关注

    关注

    5

    文章

    699

    浏览量

    45627
  • 分布式存储
    +关注

    关注

    4

    文章

    153

    浏览量

    19394
收藏 人收藏

    评论

    相关推荐

    分布式存储架构:第九节 分布式数据存储方式 #大数据 #分布式存储 #分布式 #硬声创作季

    云计算数据存储分布式存储数据存储技术数据存储分布式
    学习硬声知识
    发布于 :2022年10月21日 14:31:06

    集中式监测&分布式监测

    工程类公司或高校,从知识结构上擅长于数据分析和结构分析。这些机构虽然也不乏有从事传感和采集方面人才,但是相比于专业型公司,仍然不具备技术上的比较优势。 图1 集中式监测系统架构示意图 最近几年桥梁监测
    发表于 09-21 08:40

    概述隔离电源集中式电源架构

    这里写目录标题概述隔离电源集中式电源架构分布式电源架构:个人理解概述· 集中式电源
    发表于 11-11 07:07

    集中式电源架构分布式电源架构

    电源,然后经过板上电源模块转换到各个目标电源进行使用,电源架构一般有集中式电源架构分布式电源架构。1、
    发表于 11-15 07:11

    什么是分布式存储技术?有哪些应用?

    分布式存储概念 与目前常见的集中式存储技术不同,分布式存储技术并不是将数据
    的头像 发表于 11-17 09:26 2.3w次阅读
    什么是<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>技术?有哪些应用?

    集中式服务器架构和基于ARM微服务器架构存储差别在哪?

    集中式服务器架构和基于ARM微服务器架构存储差别在哪? 近年来,软件定义存储也成为企业级IT热议的话题之一,其中,基于ARM微服务器
    发表于 12-27 12:45 717次阅读

    中心化存储分布式存储有着怎样的联系

    分布式存储是相对于中心化存储来说的,中心化存储,也叫集中式存储。所谓中心化
    发表于 09-16 11:16 1043次阅读

    集中式存储分布式存储的区别以及优缺点分析

    前段时间在社区里有一些关于超融合的弊端、超融合可靠性问题以及超融合场景局限性,以及分布式存储与传统集中式存储优缺点对比的讨论,作为相关产品的从业人员,个人认为对任何一个创新性的
    的头像 发表于 11-08 17:20 4.5w次阅读

    分布式存储常见的架构有哪些

    分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中存储服务器存放所
    发表于 11-16 14:55 8252次阅读

    分布式光伏和集中式光伏的区别

    有风。而光伏就不一样了,集中式大面积光伏建在沙漠、戈壁这样的地区,充分利用废弃的土地资源。分布式光伏一般建在楼顶、屋顶、厂房顶和蔬菜大棚等地方,充分利用空间。那么分布式集中式光伏有什
    发表于 05-13 15:42 6.5w次阅读
    <b class='flag-5'>分布式</b>光伏和<b class='flag-5'>集中式</b>光伏的区别

    浪潮存储刷新分布式存储性能全球最高成绩

    (每秒读写操作次数)、0.781ms时延的评测值,刷新了分布式存储性能全球最高成绩。至此浪潮存储五年五次霸榜,成为全球唯一在分布式存储
    的头像 发表于 08-12 10:27 4013次阅读

    电源架构--集中式电源架构/分布式电源架构

    这里写目录标题概述隔离式电源集中式电源架构分布式电源架构:个人理解概述· 集中式电源架构(CPA
    发表于 11-06 17:21 15次下载
    电源<b class='flag-5'>架构</b>--<b class='flag-5'>集中式</b>电源<b class='flag-5'>架构</b>/<b class='flag-5'>分布式</b>电源<b class='flag-5'>架构</b>

    浪潮信息以新一代存储核心构建新一代集中式分布式存储平台

    随着数字化转型的持续深入,各行业用户面临的数据存储挑战也与日俱增。在此背景下,浪潮信息基于“存储即平台”战略,以新一代G6存储为核心,构建起新一代集中式
    的头像 发表于 12-06 12:22 2953次阅读
    浪潮信息以新一代<b class='flag-5'>存储</b>核心构建新一代<b class='flag-5'>集中式</b>和<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>平台

    分布式vs.集中式存储架构如何选?

    存储技术发展日新月异。一方面传统集中式SAN/NAS还在广泛使用,另一方面各类分布式存储产品已纷纷在新兴的海量数据场景中占据市场。如何根据业务需求
    的头像 发表于 05-09 10:08 3803次阅读
    <b class='flag-5'>分布式</b>vs.<b class='flag-5'>集中式</b>,<b class='flag-5'>存储</b><b class='flag-5'>架构</b>如何选?

    集中式架构的优势有哪些

    在电子化和智能化发展的需要下,传统的分布式架构逐渐进化为域集中式架构,“域”和“域控制器”产生。域控制器最早由博世、大陆、德尔福等 Tier1厂商提出,通过利用处理能力更强的多核 CP
    的头像 发表于 07-13 16:00 757次阅读