0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

简述图文存储常识:单机、集中、分布式、云、云原生存储

存储加速器 来源: 阿里云云栖号 作者: 阿里云云栖号 2021-05-26 10:05 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

背景

本文主要对杨传辉(日照)《大规模分布式存储系统原理解析与架构实战》、大话存储、网络资源(具体参考文末链接)及个人理解进行整理,意在构建出存储发展基本轨迹和一些基本常识,让更多像我一样的初入者有个宏观上的认知。

存储发展史

从单机到互联网,存储作为的基础设施,主要发展都是围绕构建 低成本、高性能、可扩展、易用的目标进行演进,时至今日,在形态上存储分为单机存储、集中存储、分布式存储、云存储、云原生存储

007b4ca6-bd41-11eb-9e57-12bb97331649.jpg

各阶段存储的基本形态如下

008de56e-bd41-11eb-9e57-12bb97331649.jpg

各阶段基本形态

存储数据分类 & 模型

无论单机存储、分布式存储、云存储都是基于特定应用场景下,对指定数据类型构建对应的存储数据模型

数据分类

009812c8-bd41-11eb-9e57-12bb97331649.jpg

数据模型

00a22e66-bd41-11eb-9e57-12bb97331649.jpg

存储类型

常见三种存储类型:块存储、文件存储、对象存储

00bc0c00-bd41-11eb-9e57-12bb97331649.jpg

块存储

基于Block块的存储模式,两种常见存储方式:

DAS(Direct Attch Storage), 直连主机存储方式

SAN (Storage Area Netowrk),高速网络链接主机存储方式

文件存储

依附网络提供文件存储服务

对象存储

构建于键值存储,核心是将数据通路(data)和控制通路(meta)分离,并且基于对象存储设备(Object-based Storage Device,OSD)构建存储系统,对外以RSETful API形式服务

单机存储

基本概念

单机存储系统是单机存储引擎(数据结构在机械磁盘、SSD等持久化介质上的实现)的一种封装,对外提供文件、键值、表格或者关系模型的存储服务。

存储引擎

存储引擎是存储系统的发动机,决定了存储系统能够提供的功能和性能, 提供功能包含:

增加(Create)

读取(Retrieve),随机读取和顺序扫描

更新(Update)

删除(Delete

引擎间差异如下:

00d736c4-bd41-11eb-9e57-12bb97331649.jpg

集中式存储

基本概念

集中式存储相对与单机存储而言,存储系统中包含了更多组件,除了机头(控制器)、磁盘阵列(JBOD)和交换机等设备外,还有管理设备等辅助设备。

00eea020-bd41-11eb-9e57-12bb97331649.jpg

参考:集中式存储的基本逻辑示意图

系统构成

机头,整个存储系统的核心部件,通常由控制器、前后端口组成,

控制器,通常有二,实现互备高可用,控制器中的软件实现对磁盘的管理,将磁盘抽象化为存储资源池,然后划分为LUN提供给服务器使用。

前后端口,前端端口用户为服务器提供存储服务,后端端口用于扩充存储系统的容量(连接更多的存储设备)

磁盘柜(Just a Bound Of Disk , JBOD),磁盘挂在服务器外的专用柜里,有独立电源、散热、接口等,内部线缆相连(SCSI),对机头后端端口统一挂载

分布式存储

基本概念

分布式存储系统,是将分散独立的存储设备通过网络互联,系统关联,对外作为一个整体提供存储服务。

系统分类

分布式文件系统

分布式键值系统

分布式表格系统

分布式数据库

设计原则

参考CAP

云存储

基本概念

云存储,是一种云计算领域存储服务方式,底层构建在分布式存储基础之上,上层通过Internet形式提供存储服务,除具备分布式存储基础特性外,更兼具灵活性,通常由云厂商提供

参考产品

0120da7c-bd41-11eb-9e57-12bb97331649.jpg

云原生存储

基本概念

云原生存储脱胎于云存储,除具备云存储的特性外、须满足具备云原生生态系统中其他所有组件具备相同的动态(公共云/专有云/混合云等场景)构建可扩展应用、S3 API 驱动、K8S友好等

参考示例

Rook

CNCF首个云原生存储项目Rook,是将文件、数据块和对象存储系统引入到Kubernetes集群,与其他正在使用存储的应用程序和服务一起无缝运行。通过这种方式,云原生集群可以在公有云和本地部署中自给自足并且具备可移植性。该项目的开发目的是使企业能够通过动态应用编排,为在本地和公有云环境中运行的分布式存储系统实现数据中心现代化。

013bf500-bd41-11eb-9e57-12bb97331649.jpg

Rook Architecure

01493774-bd41-11eb-9e57-12bb97331649.jpg

Ceph Rook integrates with Kubernetes

MinIO

MinIO是一款高性能、软件定义的,对象存储套件,帮助客户构建云原生数据基础设施。可与 Kubernetes 集成,允许操作员使用 Kubernetes 界面管理存储,而 Kubernetes 可以处理从存储提供到卷放置的所有事务。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 控制器
    +关注

    关注

    114

    文章

    17646

    浏览量

    190266
  • 交换机
    +关注

    关注

    23

    文章

    2870

    浏览量

    103927
  • JBOD
    +关注

    关注

    0

    文章

    3

    浏览量

    9131
  • 单机
    +关注

    关注

    0

    文章

    20

    浏览量

    6480

原文标题:图文存储常识:单机、集中、分布式、云、云原生存储

文章出处:【微信号:TopStorage,微信公众号:存储加速器】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    国网河南地区用的分布式\分散\集中式DTU

    国网河南地区配网自动化终端分布式、分散集中式DTU简单介绍:国网标准分散DTU由间隔单元和公共单元组成;分布式DTU由保护测控单元和综合通讯管理单元组成;
    的头像 发表于 11-13 15:08 1087次阅读
    国网河南地区用的<b class='flag-5'>分布式</b>\分散<b class='flag-5'>式</b>\<b class='flag-5'>集中</b>式DTU

    一键部署无损网络:EasyRoCE助力分布式存储效能革命

    分布式存储的性能瓶颈往往在于网络。如何构建一个高带宽、超低时延、零丢包的无损网络,是释放分布式存储全部潜力、赋能企业关键业务(如实时数据库、AI训练、高性能计算)的关键挑战。
    的头像 发表于 08-04 11:34 1336次阅读
    一键部署无损网络:EasyRoCE助力<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>效能革命

    Ceph分布式存储系统解析

    在当今数据爆炸的时代,企业对存储系统的需求日益增长,传统的集中存储已经无法满足大规模数据处理的要求。分布式存储系统应运而生,而Ceph作为
    的头像 发表于 07-14 11:15 716次阅读

    华为分布式存储荣膺2025年Gartner“客户之选”

    近日,全球权威咨询与分析机构Gartner发布《2025年Gartner Peer Insights文件与对象存储平台“客户之声”》报告,华为OceanStor分布式存储再次登顶,连续第四年获得“客户之选”殊荣,彰显全球客户的认
    的头像 发表于 06-07 09:13 1108次阅读

    曙光存储领跑中国分布式存储市场

    近日,赛迪顾问发布《中国分布式存储市场研究报告(2025)》,指出2024 年中国分布式存储市场首次超过集中
    的头像 发表于 05-19 16:50 1011次阅读

    兆芯+图创智—可信分布式存储系统解决方案

    创智分布式存储系统采用全分布式设计与先进的存储虚拟化技术相结合,由多个独立的兆芯 x86 服务器作为
    的头像 发表于 04-23 10:29 654次阅读
    兆芯+图<b class='flag-5'>云</b>创智—可信<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>系统解决方案

    分布式存储数据恢复—虚拟机上hbase和hive数据库数据恢复案例

    分布式存储数据恢复环境: 16台某品牌R730xd服务器节点,每台服务器节点上有数台虚拟机。 虚拟机上部署Hbase和Hive数据库。 分布式存储故障: 数据库底层文件被误
    的头像 发表于 04-17 11:05 514次阅读

    秒杀传统存储!亿万克DM3000分布式存储:EB级扩容+协议瞬通

    SoveCloud DM DM3000系列是亿万克推出的全新一代分布式统一存储产品。该系列用软件定义存储理念替换传统的存储解决方案,助力
    的头像 发表于 03-20 09:13 695次阅读
    秒杀传统<b class='flag-5'>存储</b>!亿万克DM3000<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>:EB级扩容+协议瞬通

    分布式存储集中存储有何区别

    存储产品千千万,选来选去怎么办? 戴小编来献妙策,匹配需求不为难!分布式存储集中式储是存储系统中十分重要的两种架构类型,但这两者有何区别?
    的头像 发表于 02-28 10:56 2259次阅读

    分布式存储有哪几种类型?

    接口类型有POSIX、NFS、S3等;还可根据应用场景分为通用和专用存储。根据不同的分类标准,UU小编认为分布式存储系统可以划分为以下几种主要类型:
    的头像 发表于 02-20 11:00 1125次阅读

    云原生AI服务怎么样

    云原生AI服务,是指采用云原生的原则和技术来构建、部署和管理人工智能应用及工作负载的方法和模式。那么,云原生AI服务怎么样呢?下面,AI部落小编带您了解。
    的头像 发表于 01-23 10:47 764次阅读

    分布式化数据库有哪些类型

    分布式化数据库有哪些类型?分布式化数据库主要类型包括:关系型分布式数据库、非关系型分布式数据
    的头像 发表于 01-15 09:43 879次阅读

    弹性服务器通过什么存储数据和文件?

    弹性服务器通过多种存储方式存储数据和文件,包括硬盘、对象存储服务、分布式文件系统和数据库服务
    的头像 发表于 01-13 09:50 713次阅读

    云原生LLMOps平台作用

    云原生LLMOps平台是一种基于计算基础设施和开发工具,专门用于构建、部署和管理大型语言模型(LLM)全生命周期的平台。以下,是对云原生LLMOps平台作用的梳理,由AI部落小编整理。
    的头像 发表于 01-06 10:21 710次阅读

    什么是云原生MLOps平台

    云原生MLOps平台,是指利用计算的基础设施和开发工具,来构建、部署和管理机器学习模型的全生命周期的平台。以下,是对云原生MLOps平台的介绍,由AI部落小编整理。
    的头像 发表于 12-12 13:13 843次阅读