0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分布式存储系统与纠删码技术背景

存储加速器 来源:存储产业技术创新战略联 作者:存储产业技术创新 2021-06-01 11:31 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

01

分布式存储系统与纠删码技术背景

分布式存储是当代大数据的基本存在形式,在工业界和学术界已经得到深入研究和高度重视,为了解决大规模存储带来的磁盘故障,跨节点直接复制数据包存储是最简单的解决方案。分布式存储能增强存储系统可靠性、柔性生存力、抗数据损毁风险;是实现网络热点访问负载均衡的技术途径、提高边缘计算的处理效率;能达成数据共享服务和隐私保护的便利性。

02

存储系统局部再生修复技术的兴起

数据编码分布式存储有明显的短板,从而提出分布式存储的局部可修复问题和热数据节点负载平衡问题。归纳为发展局部再生修复编码技术的源动力包括减少修复成本以提高维护效率,负载均衡与边缘计算服务。当今分布式存储的新需求是节点数据间接访问的局部重构开销问题和节点数据的局部修复开销问题。

03

局部可修复码LRC及其技术发展态势

分布式存储的局部修复码LRC是一个欲求解的科学问题,分布式数据的局部再生的性能参数直接的制约博弈关系。分布式存储的局部修复码研究现状:LRC码性能界的上限和LRC纠删码的具体构造办法,此处列举了实例和成果。

04

Remarks and Summary

从应用需求看,LRC或RGC纠删码尚存在的不足和倾向如下:

LRC和RGC纠删码的研究存在瓶颈,未来十年需要大家一起挑战存储纠删码,提升优异技术性能。

随着计算机技术和存储技术的发展,数据正以爆炸式的速度增长,海量数据对存储系统提出了巨大的挑战。纠删码技术以牺牲CPU计算量和网络负载为代价,提高存储空间利用率,同时提供近似副本的可靠性。 本篇文章聚焦于分布式存储系统中的纠删码技术,将丰富的理论和工程实践经验加以糅合,探讨可局部再生修复纠删码技术用于提高分布式存储可靠性的实质问题,有助于存储产业在分布式存储架构层面上不断探索和完善。

原文标题:分布式存储系统中的纠删码技术:可局部再生修复技术

文章出处:【微信公众号:存储加速器】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4917

    浏览量

    90358
  • LCR
    LCR
    +关注

    关注

    0

    文章

    170

    浏览量

    22230
  • 大数据
    +关注

    关注

    64

    文章

    9107

    浏览量

    144139

原文标题:分布式存储系统中的纠删码技术:可局部再生修复技术

文章出处:【微信号:TopStorage,微信公众号:存储加速器】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AI Ceph 分布式存储教程资料大模型学习资料2026

    开销与延迟。 三、 弹性扩展与数据一致性:面向未来的存储底座 大模型的训练是一个动态伸缩的过程,可能从几十张卡扩展到几千张卡。AI 分布式存储必须具备无感知的弹性扩展能力。通过采用
    发表于 05-01 17:35

    2022全新版!Java分布式架构设计与开发实战(完结)

    2022全新版!Java分布式架构设计与开发实战(完结) 分库分表实战:Java海量数据存储架构设计 在现代互联网应用中,随着业务规模的指数级增长,数据库性能瓶颈已成为制约系统发展的关键因素。当单
    发表于 03-30 15:20

    分布式迭代求解策略:分布式混合电推进系统飞发一体化设计与能量管理协同优化方法

    随着全球航空业对绿色环保要求的不断提高,分布式混合电推进系统作为传统航空动力向全电飞行器过渡的关键技术,展现出巨大的发展潜力。本文围绕半涡电分布式推进
    的头像 发表于 03-27 08:54 300次阅读
    <b class='flag-5'>分布式</b>迭代求解策略:<b class='flag-5'>分布式</b>混合电推进<b class='flag-5'>系统</b>飞发一体化设计与能量管理协同优化方法

    分布式存储系统功率链路优化:基于冗余电源、散热管理与背板供电的MOSFET精准选型方案

    前言:构筑数据存力的“能量基石”——论功率器件选型的系统思维 在数据存力成为核心竞争力的今天,一套卓越的分布式存储系统,不仅是控制器、协议与闪存的集成,更是一部要求极高可靠性与能效的电能转换“机器
    的头像 发表于 03-25 09:40 358次阅读
    <b class='flag-5'>分布式</b>块<b class='flag-5'>存储系统</b>功率链路优化:基于冗余电源、散热管理与背板供电的MOSFET精准选型方案

    分布式数据恢复—Ceph+TiDB数据恢复报告

    故障情况:客户设备为Ceph分布式存储系统,采用RBD(RADOS Block Device)作为块存储服务。Ceph集群由多个OSD(Object Storage Daemon)节点组成,数据通
    的头像 发表于 02-03 17:22 293次阅读
    <b class='flag-5'>分布式</b>数据恢复—Ceph+TiDB数据恢复报告

    阳台微储及户用混合储能等分布式能源存储系统的架构演进

    阳台微储及户用混合储能等分布式能源存储系统的架构演进与碳化硅功率器件的技术变革 倾佳电子(Changer Tech)是一家专注于功率半导体和新能源汽车连接器的分销商。主要服务于中国工业电源、电力
    的头像 发表于 01-09 09:12 344次阅读
    阳台微储及户用混合储能等<b class='flag-5'>分布式</b>能源<b class='flag-5'>存储系统</b>的架构演进

    PLC远程上下载在分布式设备运维系统中的作用

    在工业4.0与物联网技术深度融合的背景下,分布式设备运维系统正面临设备分散、管理复杂、响应滞后等核心挑战。PLC远程上下载技术作为连接设备层
    的头像 发表于 11-14 16:51 1457次阅读

    【节能学院】Acrel-1000DP分布式光伏监控系统在奉贤平高食品 4.4MW 分布式光伏中应用

    摘要:在“双碳”和新型电力系统建设背景下,分布式光伏接入比例不断提高,对配电网电压、调度运行及调峰等环节造成强烈冲击。本文设计包含平台层、设备层二层架构体系的分布式光伏管控平台,以及小
    的头像 发表于 08-23 08:04 3723次阅读
    【节能学院】Acrel-1000DP<b class='flag-5'>分布式</b>光伏监控<b class='flag-5'>系统</b>在奉贤平高食品 4.4MW <b class='flag-5'>分布式</b>光伏中应用

    分布式光伏发电监测系统技术方案

    分布式光伏发电监测系统技术方案 柏峰【BF-GFQX】一、系统目标 :分布式光伏发电监测系统旨在
    的头像 发表于 08-22 10:51 3557次阅读
    <b class='flag-5'>分布式</b>光伏发电监测<b class='flag-5'>系统</b><b class='flag-5'>技术</b>方案

    一键部署无损网络:EasyRoCE助力分布式存储效能革命

    分布式存储的性能瓶颈往往在于网络。如何构建一个高带宽、超低时延、零丢包的无损网络,是释放分布式存储全部潜力、赋能企业关键业务(如实时数据库、AI训练、高性能计算)的关键挑战。
    的头像 发表于 08-04 11:34 1879次阅读
    一键部署无损网络:EasyRoCE助力<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>效能革命

    园区分布式光伏发电监控系统

    简婷 安科瑞电气股份有限公司 上海嘉定  201801 技术支持18701998775 园区部署分布式光伏发电监控系统,是实现光伏项目高效运营、风险可控、收益大的核心保障,其必要性体现在以下多个维度
    的头像 发表于 07-31 15:49 1300次阅读
    园区<b class='flag-5'>分布式</b>光伏发电监控<b class='flag-5'>系统</b>

    分布式光伏总出问题?安科瑞分布式光伏监控系统来“救场”

    一、分布式光伏的痛点大揭秘 在 “双碳” 目标的大力推动下,分布式光伏作为绿色能源领域的重要力量,正以前所未有的速度蓬勃发展,越来越多的企业和家庭选择安装分布式光伏系统。然而,随着
    的头像 发表于 07-16 16:50 1000次阅读
    <b class='flag-5'>分布式</b>光伏总出问题?安科瑞<b class='flag-5'>分布式</b>光伏监控<b class='flag-5'>系统</b>来“救场”

    Ceph分布式存储系统解析

    在当今数据爆炸的时代,企业对存储系统的需求日益增长,传统的集中式存储已经无法满足大规模数据处理的要求。分布式存储系统应运而生,而Ceph作为开源分布
    的头像 发表于 07-14 11:15 1299次阅读

    双电机分布式驱动汽车高速稳定性机电耦合控制

    摘要:为了利用所设计的双电机防滑差速驱动系统来提高分布式驱动汽车的动力学性能,在前期同轴耦合驱动控制理论研究的基础上,开展该车的高速稳定性机电耦合控制研究。建立并验证包含所设计驱动系统在内的
    发表于 06-18 16:37

    曙光存储领跑中国分布式存储市场

    近日,赛迪顾问发布《中国分布式存储市场研究报告(2025)》,指出2024 年中国分布式存储市场首次超过集中式存储,规模达 198.2 亿元
    的头像 发表于 05-19 16:50 1517次阅读