0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

简述图文存储常识:单机、集中、分布式、云、云原生存储

存储加速器 来源: 阿里云云栖号 作者: 阿里云云栖号 2021-05-26 10:05 次阅读

背景

本文主要对杨传辉(日照)《大规模分布式存储系统原理解析与架构实战》、大话存储、网络资源(具体参考文末链接)及个人理解进行整理,意在构建出存储发展基本轨迹和一些基本常识,让更多像我一样的初入者有个宏观上的认知。

存储发展史

从单机到互联网,存储作为的基础设施,主要发展都是围绕构建 低成本、高性能、可扩展、易用的目标进行演进,时至今日,在形态上存储分为单机存储、集中存储、分布式存储、云存储、云原生存储

007b4ca6-bd41-11eb-9e57-12bb97331649.jpg

各阶段存储的基本形态如下

008de56e-bd41-11eb-9e57-12bb97331649.jpg

各阶段基本形态

存储数据分类 & 模型

无论单机存储、分布式存储、云存储都是基于特定应用场景下,对指定数据类型构建对应的存储数据模型

数据分类

009812c8-bd41-11eb-9e57-12bb97331649.jpg

数据模型

00a22e66-bd41-11eb-9e57-12bb97331649.jpg

存储类型

常见三种存储类型:块存储、文件存储、对象存储

00bc0c00-bd41-11eb-9e57-12bb97331649.jpg

块存储

基于Block块的存储模式,两种常见存储方式:

DAS(Direct Attch Storage), 直连主机存储方式

SAN (Storage Area Netowrk),高速网络链接主机存储方式

文件存储

依附网络提供文件存储服务

对象存储

构建于键值存储,核心是将数据通路(data)和控制通路(meta)分离,并且基于对象存储设备(Object-based Storage Device,OSD)构建存储系统,对外以RSETful API形式服务

单机存储

基本概念

单机存储系统是单机存储引擎(数据结构在机械磁盘、SSD等持久化介质上的实现)的一种封装,对外提供文件、键值、表格或者关系模型的存储服务。

存储引擎

存储引擎是存储系统的发动机,决定了存储系统能够提供的功能和性能, 提供功能包含:

增加(Create)

读取(Retrieve),随机读取和顺序扫描

更新(Update)

删除(Delete

引擎间差异如下:

00d736c4-bd41-11eb-9e57-12bb97331649.jpg

集中式存储

基本概念

集中式存储相对与单机存储而言,存储系统中包含了更多组件,除了机头(控制器)、磁盘阵列(JBOD)和交换机等设备外,还有管理设备等辅助设备。

00eea020-bd41-11eb-9e57-12bb97331649.jpg

参考:集中式存储的基本逻辑示意图

系统构成

机头,整个存储系统的核心部件,通常由控制器、前后端口组成,

控制器,通常有二,实现互备高可用,控制器中的软件实现对磁盘的管理,将磁盘抽象化为存储资源池,然后划分为LUN提供给服务器使用。

前后端口,前端端口用户为服务器提供存储服务,后端端口用于扩充存储系统的容量(连接更多的存储设备)

磁盘柜(Just a Bound Of Disk , JBOD),磁盘挂在服务器外的专用柜里,有独立电源、散热、接口等,内部线缆相连(SCSI),对机头后端端口统一挂载

分布式存储

基本概念

分布式存储系统,是将分散独立的存储设备通过网络互联,系统关联,对外作为一个整体提供存储服务。

系统分类

分布式文件系统

分布式键值系统

分布式表格系统

分布式数据库

设计原则

参考CAP

云存储

基本概念

云存储,是一种云计算领域存储服务方式,底层构建在分布式存储基础之上,上层通过Internet形式提供存储服务,除具备分布式存储基础特性外,更兼具灵活性,通常由云厂商提供

参考产品

0120da7c-bd41-11eb-9e57-12bb97331649.jpg

云原生存储

基本概念

云原生存储脱胎于云存储,除具备云存储的特性外、须满足具备云原生生态系统中其他所有组件具备相同的动态(公共云/专有云/混合云等场景)构建可扩展应用、S3 API 驱动、K8S友好等

参考示例

Rook

CNCF首个云原生存储项目Rook,是将文件、数据块和对象存储系统引入到Kubernetes集群,与其他正在使用存储的应用程序和服务一起无缝运行。通过这种方式,云原生集群可以在公有云和本地部署中自给自足并且具备可移植性。该项目的开发目的是使企业能够通过动态应用编排,为在本地和公有云环境中运行的分布式存储系统实现数据中心现代化。

013bf500-bd41-11eb-9e57-12bb97331649.jpg

Rook Architecure

01493774-bd41-11eb-9e57-12bb97331649.jpg

Ceph Rook integrates with Kubernetes

MinIO

MinIO是一款高性能、软件定义的,对象存储套件,帮助客户构建云原生数据基础设施。可与 Kubernetes 集成,允许操作员使用 Kubernetes 界面管理存储,而 Kubernetes 可以处理从存储提供到卷放置的所有事务。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 控制器
    +关注

    关注

    112

    文章

    15020

    浏览量

    170332
  • 交换机
    +关注

    关注

    19

    文章

    2392

    浏览量

    95430
  • JBOD
    +关注

    关注

    0

    文章

    3

    浏览量

    8951
  • 单机
    +关注

    关注

    0

    文章

    15

    浏览量

    6216

原文标题:图文存储常识:单机、集中、分布式、云、云原生存储

文章出处:【微信号:TopStorage,微信公众号:存储加速器】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    大数据时代的存储革命:理解分布式存储系统

    数据管理的效率极低。因此,分布式存储系统应运而生。 分布式存储就是将数据存储在众多的服务器或网络节点上,而不是
    的头像 发表于 03-07 15:40 125次阅读

    曙光存储推出ParaStor分布式全闪存储

    曙光存储推出ParaStor分布式全闪存储,携业内首创技术XDS,以训练加速、稳定性强、性价比高的独特价值,全维度涵盖网络、计算和平台,为千行百业的AI大模型开发者提供存储解决方案。
    发表于 03-01 11:30 149次阅读

    高性能存储实现新突破的英特尔至强处理器

    基于第四代英特尔 至强 可扩展处理器的 Curve 高性能分布式存储方案在吞吐、时延、TCO 等方面具备出色优势,能够为金融、互联网、交通、能源等各行业提供高效的云原生存储解决方案。
    发表于 02-26 14:01 110次阅读
    高性能<b class='flag-5'>存储</b>实现新突破的英特尔至强处理器

    米哈游大数据云原生实践

    近年来,容器、微服务、Kubernetes 等各项云原生技术的日渐成熟,越来越多的公司开始选择拥抱云原生,并开始将 AI、大数据等类型的企业应用部署运行在云原生之上。以 Spark 为例,在云上运行
    的头像 发表于 01-09 10:41 224次阅读
    米哈游大数据<b class='flag-5'>云原生</b>实践

    【Vsan数据恢复】Vsan分布式存储虚拟磁盘文件丢失的数据恢复案例

    一套vsan分布式存储架构有数台服务器节点,该vsan分布式存储架构配置了固态硬盘和机械硬盘,固态硬盘作为缓存盘使用,机械硬盘作为容量盘使用。 机房供电异常导致服务器异常关机,工作人
    的头像 发表于 01-03 16:39 243次阅读

    一图读懂《分布式融合存储研究报告(2023)》

    转自:存储产业技术创新战略联盟 2023年11月30日, 存 储产业技术创新战略联盟、中国电子技术标准化研究院联合发布《分布式融合存储研究报告(2023)》,详细阐释分布式融合
    的头像 发表于 12-21 18:05 275次阅读
    一图读懂《<b class='flag-5'>分布式</b>融合<b class='flag-5'>存储</b>研究报告(2023)》

    云原生数据库GaiaDB架构设计解析

    目前,云原生数据库已经被各行各业大规模投入到实际生产中,最终的目标都是「单机 + 分布式一体化」。但在演进路线上,当前主要有两个略有不同的路径。
    的头像 发表于 12-14 14:48 186次阅读
    <b class='flag-5'>云原生</b>数据库GaiaDB架构设计解析

    鸿蒙原生应用开发——分布式数据对象

    01、什么是分布式数据对象 在可信组网环境下,多个相互组网认证的设备将各自创建的对象加入同一个 sessionId,使得加入的多个数据对象之间可以同步数据,也就是说,当某一数据对象属性发生
    发表于 12-08 10:01

    高效管理海量数据!忆联 SSD 为分布式存储提供极致性能

    近年来,为满足大规模的存储应用需求,分布式存储成为云环境下存储底座构建的重要选择,相较于传统集中存储
    的头像 发表于 10-13 15:55 308次阅读
    高效管理海量数据!忆联 SSD 为<b class='flag-5'>分布式</b>块<b class='flag-5'>存储</b>提供极致性能

    分布式存储的7个特征

    什么是分布式存储呢?如果一个存储系统,不管是对象、块、文件、kv、log、olap、oltp,只要对所管理的数据做了Partitioning&Replication,不管姿势对不对,其实
    发表于 07-18 14:17 579次阅读

    分布式存储架构面临的挑战

      从云和互联网的业务场景来看,其存储域主要采用基于服务器部署分布式存储服务的融合方式,它面临如下挑战 : 1.数据保存周期与服务器更新周期不匹配。大数据、人工智能等新兴业务催生出海量数据,大量数据
    的头像 发表于 07-05 10:44 861次阅读
    <b class='flag-5'>分布式</b><b class='flag-5'>存储</b>架构面临的挑战

    分布式存储的分类和典型应用场景

    分布式对象存储:指各存储节点由标识符、数据和元数据的对象数据构成。其中标识符在该存储系统中唯一,用于区分不同存储区域;元数据将提取数据特征,
    发表于 06-12 14:38 2675次阅读
    <b class='flag-5'>分布式</b><b class='flag-5'>存储</b>的分类和典型应用场景

    如何使用分布式存储系统促进AI模型训练

    这凸显了分布式存储在人工智能(AI)领域的重要性。JuiceFS 是一个开源、高性能的分布式文件系统,为这个问题提供了解决方案。
    发表于 06-12 09:28 315次阅读
    如何使用<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>系统促进AI模型训练

    常见的分布式供电技术有哪些?

      分布式供电技术是指将发电设备建设在用户或供电系统端,将发电与负荷直接相连,通过局部供电的方式满足用户的电力需求。其主要特点是将传统的集中式供电方式改为分散供电方式,不仅既有大型电站向小型
    发表于 04-10 16:28

    云原生:数字化转型的“科技”与“狠活”

    3月14日,由长沙市工业和信息化局主办,拓维信息联合长沙市软件和信息技术服务业促进会(简称“长沙软促会”)等多家单位联合承办的“数字兴链,「云」化未来”云原生技术研讨会在拓维信息软件园成功举办。会上
    的头像 发表于 03-31 10:58 408次阅读
    <b class='flag-5'>云原生</b>:数字化转型的“科技”与“狠活”