0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分布式全闪架构的演进之路

高端存储知识 来源:高端存储知识 2023-11-27 10:12 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

无共享体系结构 (SNA:Shared-Nothing Architecture) 是一种分布式计算体系结构,其中每个更新请求都由计算机群集中的单个节点(处理器/内存/存储单元)满足。目的是消除节点之间的争用。节点不共享(独立访问)相同的内存或存储。另一种架构是共享所有内容(Shared-Everything),其中请求由任意节点组合满足。这可能会引入争用,因为多个节点可能会同时寻求更新相同的数据。

ab0ccec4-8cba-11ee-939d-92fbcf53809c.png

这些术语其实首先来自数据库领域。加州大学伯克利分校的迈克尔·斯通布拉克(Michael Stonebraker)在1986年的一篇数据库论文(“The Case for Shared Nothing Architecture” ,Database Engineering)中使用了这个术语。Teradata 于 1983 年交付了第一个 SN 数据库系统。无共享和共享一切架构各有优势。DBMS供应商和行业分析师经常就此事进行辩论;例如,Microsoft 吹捧其 SQL Server 2005 与 Oracle 10g RAC 的比较。

后来,这个分布式架构,慢慢发展到了存储领域。首先体现在分布式文件存储上。

ab25008e-8cba-11ee-939d-92fbcf53809c.png

2003年,谷歌发布了GFS白皮书,采用了shared-nothing架构,解决了IBM GPFS的shared-disk带来的成本和扩展性问题,成为了存储圈shared-nothing架构的启蒙。

后来的HDFS还有无数的软件定义存储创业公司,都是参考了GFS的SN架构。

ab35c036-8cba-11ee-939d-92fbcf53809c.png

GPFS也一样,虽然1998年就推向市场,但最初只支持Shared-Disk架构,2012年才顺应潮流,开始支持Shared-Nothing架构。一般来说,Shared-Disk架构有更好的性能,但成本也更高。

从此,SN架构成为了分布式软件定义存储的标准架构,至今已经已经有20多年的历史。全球几乎所有的分布式软件定义存储,99%都是采用SN架构。

但是,2019年,一个叫VAST Data的公司,推出了业界第一款Shared-Everthing架构的全闪第二存储,支持文件和对象,号称$/GB成本比HDD还便宜,成为AI存储的一匹黑马,受到了业界的吹捧。

在2000年,VAST Data更是提出“Shared-Nothing时代的结束”的口号,让业界重新思考分布式存储的架构之争,就像20年前数据库架构之争一样。

国内的情况也一样。最近,XSKY星辰天合推出了业界首款Shared-Everything架构的分布式全闪主存储星飞XINFINI 9000,支持块和文件。国内的同行这段时间也在谈论,到底软件定义存储的经典架构Shared-Nothing时代真的结束了吗?

其实,Shared-Everything在存储圈,不是什么新事务,因为高端存储一开始就是这样的架构,现在也是。

比如Dell EMC的高端存储PowerMax最新的Dynamic Fabric架构,就是共享内存和共享NVMe SSD的shared-everything scale-out架构。

但在分布式软件定义存储领域,为什么大家都更喜欢shared-nothing架构呢?VAST Data和XSKY为什么抛弃这个经典架构,采用类似高端存储的shared-everything架构呢?

最开始我也有这样的问题,因此我收集了大量的资料,分析了业界主流的全闪存储架构,从集中式存储到分布式存储,得出了很多我自己个人的看法。西瓜哥的个人观点,虽然仅代表个人思考,但也许你也能从中得到启发。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    20148

    浏览量

    247080
  • 存储单元
    +关注

    关注

    1

    文章

    66

    浏览量

    16684
  • 计算机
    +关注

    关注

    19

    文章

    7764

    浏览量

    92676
  • 内存
    +关注

    关注

    9

    文章

    3173

    浏览量

    76112

原文标题:从Shared-Nothing到Shared-Everything:分布式全闪架构的演进与未来

文章出处:【微信号:High-end_Storage,微信公众号:高端存储知识】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    分布式软件系统

    分布式软件系统分布式软件系统(Distributed Software Systems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式
    发表于 07-22 14:53

    一文读懂分布式架构知识体系(内含超核心知识大图)

    分布式基础理论、架构设计模式、工程应用、部署运维、业界方案这几大方面,介绍基于 MSA(微服务架构)的分布式知识体系大纲,从而对 SOA 到 MSA 进化有着立体的认识;从概念上和工
    发表于 10-23 10:02

    分布式系统的优势是什么?

    当讨论分布式系统时,我们面临许多以下这些形容词所描述的 同类型: 分布式的、删络的、并行的、并发的和分散的。分布式处理是一个相对较新的领域,所以还没有‘致的定义。与顺序计算相比、并行的、并发的和
    发表于 03-31 09:01

    集中式电源架构分布式电源架构

    电源,然后经过板上电源模块转换到各个目标电源进行使用,电源架构一般有集中式电源架构分布式电源架构。1、集中式电源架构即输入电压直接通过隔离
    发表于 11-15 07:11

    如何高效完成HarmonyOS分布式应用测试?

    作者:liuxun,HarmonyOS测试架构师HarmonyOS是新一代的智能终端操作系统,给开发者提供了设备发现、设备连接、跨设备调用等丰富的分布式API。随着越来越多的开发者投入到
    发表于 12-13 18:07

    分布式软总线实现近场设备间统一的分布式通信管理能力如何?

    现实中多设备间通信方式多种多样(WIFI、蓝牙等),不同的通信方式使用差异大,导致通信问题多;同时还面临设备间通信链路的融合共享和冲突无法处理等挑战。那么分布式软总线实现近场设备间统一的分布式通信管理能力如何呢?分布式软总线组件
    发表于 03-16 11:03

    【学习打卡】OpenHarmony的分布式任务调度

    了,除了串行作业之外,分布式调度系统也支持并行作业。分布式系统的架构有以下几种:1.集中式:通过中央节点将任务分配给工作节点或执行节点,并在这些执行节点之间编排任务。2.去中心化:有多个中心节点,每个
    发表于 07-18 17:06

    什么是分布式系统_分布式系统的类型

     什么是分布式系统(以及分布式系统架构的优缺点)现在的架构很多,各种各样的,如高并发架构、异地多活架构
    发表于 05-25 17:43 8588次阅读

    基于分布式仿真系统的实时通讯架构

    基于分布式仿真系统的实时通讯架构
    发表于 06-19 14:55 11次下载

    什么是分布式系统 分布式架构有哪些

    什么是分布式系统? 1.分布式系统一定是由多个节点组成的系统。 2.这些连通的节点上部署了我们的节点,并且相互的操作会有协同。 随着应用架构演进
    的头像 发表于 07-31 09:54 8081次阅读

    浪潮信息发布新一代G6分布式存储

    分布式存储全球前三、中国第一的浪潮存储,本次会上推出了新一代G6分布式存储,以极简架构为核心,打造EB级极致容量、亿级IOPS极致性能等
    的头像 发表于 04-19 09:42 2202次阅读

    星辰天合发布全新一代分布式存储,英特尔® QAT及英特尔® DSA助其提供非凡性能

    ◇ 近日,英特尔的合作伙伴北京市星辰天合科技股份有限公司(简称:XSKY 星辰天合)举办了主题为“星星之火”的 XSKY 星海架构暨星飞存储发布会,发布了分布式
    的头像 发表于 11-24 20:00 1866次阅读
    星辰天合发布全新一代<b class='flag-5'>全</b><b class='flag-5'>闪</b><b class='flag-5'>分布式</b>存储,英特尔® QAT及英特尔® DSA助其提供非凡性能

    什么是分布式架构?

    分布式架构是指将一个系统或应用拆分成多个独立的节点,这些节点通过网络连接进行通信和协作,以实现共同完成任务的一种架构模式。这种架构模式旨在提高系统的可扩展性、可靠性和性能表现。 一、
    的头像 发表于 01-12 15:04 2437次阅读
    什么是<b class='flag-5'>分布式</b><b class='flag-5'>架构</b>?

    分布式通信的原理和实现高效分布式通信背后的技术NVLink的演进

    大型模型的大小已经超出了单个 GPU 的范围。所以就需要实现跨多个 GPU 的模型训练,这种训练方式就涉及到了分布式通信和 NVLink。 当谈及分布式通信和 NVLink 时,我们进入了一个引人入胜且不断演进的技术领域,下面我
    的头像 发表于 11-18 09:39 2032次阅读
    <b class='flag-5'>分布式</b>通信的原理和实现高效<b class='flag-5'>分布式</b>通信背后的技术NVLink的<b class='flag-5'>演进</b>

    分布式光伏环境监测站的技术架构与应用实践

    分布式光伏环境监测站的技术架构与应用实践 柏峰【BF-GFQX】一、系统技术架构解析 分布式光伏环境监测站采用“感知层-传输层-应用层”三层架构
    的头像 发表于 10-13 10:05 250次阅读
    <b class='flag-5'>分布式</b>光伏环境监测站的技术<b class='flag-5'>架构</b>与应用实践