0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分布式存储系统与纠删码技术背景

存储加速器 来源:存储产业技术创新战略联 作者:存储产业技术创新 2021-06-01 11:31 次阅读

01

分布式存储系统与纠删码技术背景

分布式存储是当代大数据的基本存在形式,在工业界和学术界已经得到深入研究和高度重视,为了解决大规模存储带来的磁盘故障,跨节点直接复制数据包存储是最简单的解决方案。分布式存储能增强存储系统可靠性、柔性生存力、抗数据损毁风险;是实现网络热点访问负载均衡的技术途径、提高边缘计算的处理效率;能达成数据共享服务和隐私保护的便利性。

02

存储系统局部再生修复技术的兴起

数据编码分布式存储有明显的短板,从而提出分布式存储的局部可修复问题和热数据节点负载平衡问题。归纳为发展局部再生修复编码技术的源动力包括减少修复成本以提高维护效率,负载均衡与边缘计算服务。当今分布式存储的新需求是节点数据间接访问的局部重构开销问题和节点数据的局部修复开销问题。

03

局部可修复码LRC及其技术发展态势

分布式存储的局部修复码LRC是一个欲求解的科学问题,分布式数据的局部再生的性能参数直接的制约博弈关系。分布式存储的局部修复码研究现状:LRC码性能界的上限和LRC纠删码的具体构造办法,此处列举了实例和成果。

04

Remarks and Summary

从应用需求看,LRC或RGC纠删码尚存在的不足和倾向如下:

LRC和RGC纠删码的研究存在瓶颈,未来十年需要大家一起挑战存储纠删码,提升优异技术性能。

随着计算机技术和存储技术的发展,数据正以爆炸式的速度增长,海量数据对存储系统提出了巨大的挑战。纠删码技术以牺牲CPU计算量和网络负载为代价,提高存储空间利用率,同时提供近似副本的可靠性。 本篇文章聚焦于分布式存储系统中的纠删码技术,将丰富的理论和工程实践经验加以糅合,探讨可局部再生修复纠删码技术用于提高分布式存储可靠性的实质问题,有助于存储产业在分布式存储架构层面上不断探索和完善。

原文标题:分布式存储系统中的纠删码技术:可局部再生修复技术

文章出处:【微信公众号:存储加速器】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    12

    文章

    3854

    浏览量

    84656
  • LCR
    LCR
    +关注

    关注

    0

    文章

    122

    浏览量

    20358
  • 大数据
    +关注

    关注

    64

    文章

    8644

    浏览量

    136585

原文标题:分布式存储系统中的纠删码技术:可局部再生修复技术

文章出处:【微信号:TopStorage,微信公众号:存储加速器】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    大数据时代的存储革命:理解分布式存储系统

    数据管理的效率极低。因此,分布式存储系统应运而生。 分布式存储就是将数据存储在众多的服务器或网络节点上,而不是集中在单个位置。这种方式的好处
    的头像 发表于 03-07 15:40 145次阅读

    分布式IO工业自动化数据采集与分析的核心

    随着工业自动化技术的不断发展,分布式IO在工业自动化领域的应用越来越广泛。作为一种先进的控制技术分布式IO能够实现设备的分布式控制和监测,
    发表于 12-28 14:47

    一图读懂《分布式融合存储研究报告(2023)》

    转自:存储产业技术创新战略联盟 2023年11月30日, 存 储产业技术创新战略联盟、中国电子技术标准化研究院联合发布《分布式融合
    的头像 发表于 12-21 18:05 307次阅读
    一图读懂《<b class='flag-5'>分布式</b>融合<b class='flag-5'>存储</b>研究报告(2023)》

    分布式系统硬件资源池原理和接入实践

    把各个设备的硬件外设抽象为外设信息单元,外设信息在各个可信设备之间自动同步,如此,实现了外设信息的全局可见;结合分布式硬件虚拟化技术,实现任意设备之间的硬件外设能力跨设备调用;分布式硬件资源池作为
    发表于 12-06 10:02

    如何实现Redis分布式

    Redis是一个开源的内存数据存储系统,可用于高速读写操作。在分布式系统中,为了保证数据的一致性和避免竞态条件,常常需要使用分布式锁来对共享资源进行加锁操作。Redis提供了一种简单而
    的头像 发表于 12-04 11:24 380次阅读

    redis分布式锁三个方法

    Redis是一种高性能的分布式缓存和键值存储系统,它提供了一种可靠的分布式锁解决方案。在分布式系统中,由于多个节点之间的并发访问,需要使用
    的头像 发表于 12-04 11:22 532次阅读

    HarmonyOS分布式文件系统开发指导

    分布式文件系统概述 分布式文件系统(hmdfs,HarmonyOS Distributed File System)提供跨设备的文件访问能力,适用于如下场景: ● 两台设备组网,用户可
    发表于 11-14 17:14

    曙光推出ParaStor分布式存储系统解决方案

    。在数据建模分析中,数据存储的压力会随之增长,存储系统往往需具备PB级的扩展能力和极高的读写性能,这对存储系统稳定性、可靠性和访问带宽都提出了严苛要求。 为应对石油勘探面临的挑战,中科曙光推出石油私有云方案。通过
    的头像 发表于 10-21 09:25 614次阅读

    基于ZigBee的分布式井盖监控系统

    随着我国现代经济发展水平的不断提高,城市井盖数目逐渐增加。由于较多井盖被盗,致使路面形成陷阱,危害到过往车辆和行人安全。本文提出了一种基于 ZigBee无线网络的智能安全监控系统,解决分布式布控困难
    发表于 09-18 08:46

    OpenHarmony 分布式硬件关键技术

    OpenHarmony技术峰会——生态与互联分论坛 ​ 正 文 内 容 OpenHarmony是一款面向未来万物互联场景的操作系统,其设计采用了分布式架构。那么OpenHarmony相比于传统操作
    发表于 08-24 17:25

    分布式存储的7个特征

    什么是分布式存储呢?如果一个存储系统,不管是对象、块、文件、kv、log、olap、oltp,只要对所管理的数据做了Partitioning&Replication,不管姿势对不对,其实
    发表于 07-18 14:17 685次阅读

    分布式存储架构面临的挑战

    需按照其生命周期策略(例如 8~10 年)进行保存。 2.性能可靠与资源利用率难以兼得。支撑业务的分布式存储系统大致可以分为性能型存储和容量型存储,它们均无法同时实现高性能可靠与高资源
    的头像 发表于 07-05 10:44 942次阅读
    <b class='flag-5'>分布式</b><b class='flag-5'>存储</b>架构面临的挑战

    #分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 22:58:32

    分布式存储的分类和典型应用场景

    分布式对象存储:指各存储节点由标识符、数据和元数据的对象数据构成。其中标识符在该存储系统中唯一,用于区分不同存储区域;元数据将提取数据特征,
    发表于 06-12 14:38 3001次阅读
    <b class='flag-5'>分布式</b><b class='flag-5'>存储</b>的分类和典型应用场景

    如何使用分布式存储系统促进AI模型训练

    这凸显了分布式存储在人工智能(AI)领域的重要性。JuiceFS 是一个开源、高性能的分布式文件系统,为这个问题提供了解决方案。
    发表于 06-12 09:28 348次阅读
    如何使用<b class='flag-5'>分布式</b><b class='flag-5'>存储系统</b>促进AI模型训练