0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分布式存储系统与纠删码技术背景

存储加速器 来源:存储产业技术创新战略联 作者:存储产业技术创新 2021-06-01 11:31 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

01

分布式存储系统与纠删码技术背景

分布式存储是当代大数据的基本存在形式,在工业界和学术界已经得到深入研究和高度重视,为了解决大规模存储带来的磁盘故障,跨节点直接复制数据包存储是最简单的解决方案。分布式存储能增强存储系统可靠性、柔性生存力、抗数据损毁风险;是实现网络热点访问负载均衡的技术途径、提高边缘计算的处理效率;能达成数据共享服务和隐私保护的便利性。

02

存储系统局部再生修复技术的兴起

数据编码分布式存储有明显的短板,从而提出分布式存储的局部可修复问题和热数据节点负载平衡问题。归纳为发展局部再生修复编码技术的源动力包括减少修复成本以提高维护效率,负载均衡与边缘计算服务。当今分布式存储的新需求是节点数据间接访问的局部重构开销问题和节点数据的局部修复开销问题。

03

局部可修复码LRC及其技术发展态势

分布式存储的局部修复码LRC是一个欲求解的科学问题,分布式数据的局部再生的性能参数直接的制约博弈关系。分布式存储的局部修复码研究现状:LRC码性能界的上限和LRC纠删码的具体构造办法,此处列举了实例和成果。

04

Remarks and Summary

从应用需求看,LRC或RGC纠删码尚存在的不足和倾向如下:

LRC和RGC纠删码的研究存在瓶颈,未来十年需要大家一起挑战存储纠删码,提升优异技术性能。

随着计算机技术和存储技术的发展,数据正以爆炸式的速度增长,海量数据对存储系统提出了巨大的挑战。纠删码技术以牺牲CPU计算量和网络负载为代价,提高存储空间利用率,同时提供近似副本的可靠性。 本篇文章聚焦于分布式存储系统中的纠删码技术,将丰富的理论和工程实践经验加以糅合,探讨可局部再生修复纠删码技术用于提高分布式存储可靠性的实质问题,有助于存储产业在分布式存储架构层面上不断探索和完善。

原文标题:分布式存储系统中的纠删码技术:可局部再生修复技术

文章出处:【微信公众号:存储加速器】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4693

    浏览量

    89570
  • LCR
    LCR
    +关注

    关注

    0

    文章

    164

    浏览量

    21910
  • 大数据
    +关注

    关注

    64

    文章

    9029

    浏览量

    143066

原文标题:分布式存储系统中的纠删码技术:可局部再生修复技术

文章出处:【微信号:TopStorage,微信公众号:存储加速器】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    【节能学院】Acrel-1000DP分布式光伏监控系统在奉贤平高食品 4.4MW 分布式光伏中应用

    摘要:在“双碳”和新型电力系统建设背景下,分布式光伏接入比例不断提高,对配电网电压、调度运行及调峰等环节造成强烈冲击。本文设计包含平台层、设备层二层架构体系的分布式光伏管控平台,以及小
    的头像 发表于 08-23 08:04 3306次阅读
    【节能学院】Acrel-1000DP<b class='flag-5'>分布式</b>光伏监控<b class='flag-5'>系统</b>在奉贤平高食品 4.4MW <b class='flag-5'>分布式</b>光伏中应用

    分布式光伏发电监测系统技术方案

    分布式光伏发电监测系统技术方案 柏峰【BF-GFQX】一、系统目标 :分布式光伏发电监测系统旨在
    的头像 发表于 08-22 10:51 2884次阅读
    <b class='flag-5'>分布式</b>光伏发电监测<b class='flag-5'>系统</b><b class='flag-5'>技术</b>方案

    一键部署无损网络:EasyRoCE助力分布式存储效能革命

    分布式存储的性能瓶颈往往在于网络。如何构建一个高带宽、超低时延、零丢包的无损网络,是释放分布式存储全部潜力、赋能企业关键业务(如实时数据库、AI训练、高性能计算)的关键挑战。
    的头像 发表于 08-04 11:34 1336次阅读
    一键部署无损网络:EasyRoCE助力<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>效能革命

    Ceph分布式存储系统解析

    在当今数据爆炸的时代,企业对存储系统的需求日益增长,传统的集中式存储已经无法满足大规模数据处理的要求。分布式存储系统应运而生,而Ceph作为开源分布
    的头像 发表于 07-14 11:15 714次阅读

    曙光存储领跑中国分布式存储市场

    近日,赛迪顾问发布《中国分布式存储市场研究报告(2025)》,指出2024 年中国分布式存储市场首次超过集中式存储,规模达 198.2 亿元
    的头像 发表于 05-19 16:50 1011次阅读

    兆芯+图云创智—可信分布式存储系统解决方案

    图云创智分布式存储系统采用全分布式设计与先进的存储虚拟化技术相结合,由多个独立的兆芯 x86 服务器作为
    的头像 发表于 04-23 10:29 651次阅读
    兆芯+图云创智—可信<b class='flag-5'>分布式</b><b class='flag-5'>存储系统</b>解决方案

    27MHz HCSL 差分晶体振荡器在数据中心网络存储系统中的应用方案

    针对数据中心与网络存储系统推出的高性能27MHz差分晶体振荡器,具备HCSL输出、低抖动、高稳定度、工业温度范围等优势。其在服务器主板、RAID控制器、企业级SSD、分布式存储等应用中表现出色,可显著
    发表于 04-14 21:19

    抗干扰CAN总线通信技术分布式电力系统中的应用

    摘要 :随着分布式电力系统的广泛应用,其通信系统的可靠性与稳定性受到了前所未有的挑战。CAN总线通信技术以其卓越的抗干扰性能和可靠性,在众多通信技术
    的头像 发表于 04-14 18:24 702次阅读

    分布式光伏发运维系统实际应用案例分享

    安科瑞刘鸿鹏 摘 要 分布式光伏发电系统其核心特点是发电设备靠近用电负荷中心,通常安装在屋顶、建筑立面或闲置空地上,截至2025年,分布式光伏发电系统在全球和中国范围内取得了显著发展,
    的头像 发表于 04-09 14:46 991次阅读
    <b class='flag-5'>分布式</b>光伏发运维<b class='flag-5'>系统</b>实际应用案例分享

    浅谈分布式光伏系统在工业企业的设计及应用

    主要对工业厂区屋顶分布式光伏发电系统的设计及应用进行研究,为工业厂区能源供应提供一种全新的解决思路和技术支持。介绍了工业厂区屋顶分布式光伏系统
    的头像 发表于 03-21 14:24 727次阅读
    浅谈<b class='flag-5'>分布式</b>光伏<b class='flag-5'>系统</b>在工业企业的设计及应用

    秒杀传统存储!亿万克DM3000分布式存储:EB级扩容+协议瞬通

    蛟云SoveCloud DM DM3000系列是亿万克推出的全新一代分布式统一存储产品。该系列用软件定义存储理念替换传统的存储解决方案,助力数据中心解决日益复杂的应用需求。5大优势,瞧
    的头像 发表于 03-20 09:13 694次阅读
    秒杀传统<b class='flag-5'>存储</b>!亿万克DM3000<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>:EB级扩容+协议瞬通

    分布式存储和集中式存储有何区别

    存储产品千千万,选来选去怎么办? 戴小编来献妙策,匹配需求不为难!分布式存储和集中式储是存储系统中十分重要的两种架构类型,但这两者有何区别?适合怎样的业务需求?今天戴小编就来一一解答。
    的头像 发表于 02-28 10:56 2252次阅读

    分布式存储有哪几种类型?

    分布式存储有哪几种类型?分布式存储系统是一种将数据分散存储在多台独立节点上的技术,根据数据模型可
    的头像 发表于 02-20 11:00 1125次阅读

    分布式云化数据库有哪些类型

    分布式云化数据库有哪些类型?分布式云化数据库主要类型包括:关系型分布式数据库、非关系型分布式数据库、新SQL分布式数据库、以列方式
    的头像 发表于 01-15 09:43 871次阅读

    基于ptp的分布式系统设计

    在现代分布式系统中,精确的时间同步对于确保数据一致性、系统稳定性和性能至关重要。PTP(Precision Time Protocol)是一种网络协议,用于在分布式
    的头像 发表于 12-29 10:09 975次阅读