资料介绍
关于一致性
为什么需要Paxos或Quorum算法?分布式系统实现数据存储,是通过多份数据副本来保证可靠,假设部分节点访问数据失败,还有其他节点提供一致的数据返回给用户。对数据存储而言,怎样保证副本数据的一致性当属分布式存储最重要的问题。 一致性是分布式理论中的根本性问题,近半个世纪以来,科学家们围绕着一致性问题提出了很多理论模型,依据这些理论模型,业界也出现了很多工程实践投影。何为一致性问题?简而言之,一致性问题就是相互独立的节点之间,在可控的时间范围内如何达成一项决议的问题。
强一致写、多段式提交
强一致写
解决这个问题最简单的方法 ,就是强一致写。在用户提交写请求后,完成所有副本更新再返回用户,读请求任意选择某个节点。数据修改少节点少时,方案看起来很好,但操作频繁则有写操作延时问题,也无法处理节点宕机。
两段式提交(2PC 、Three-Phase Commit)
既然实际系统中很难保证强一致,便只能通过两段式提交分成两个阶段,先由Proposer(提议者)发起事物并收集Acceptor(接受者)的返回,再根据反馈决定提交或中止事务。
第一阶段:Proposer发起一个提议,询问所有Acceptor是否接受;
第二阶段:Proposer根据Acceptor的返回结果,提交或中止事务。如果Acceptor全部同意则提交,否则全部终止。
两阶段提交方案是实现分布式事务的关键;但是这个方案针对无反馈的情况,除了“死等”,缺乏合理的解决方案。 Proposer在发起提议后宕机,阶段二的Acceptor资源将锁定死等。如果部分参与者接受请求后异常,还可能存在数据不一致的脑裂问题。
三段式提交(3PC、Three-Phase Commit)
为了解决2PC的死等问题,3PC在提交前增加一次准备提交(prepare commit)的阶段,使得系统不会因为提议者宕机不知所措。接受者接到准备提交指令后可以锁资源,但要求相关操作必须可回滚。
但3PC并没有被用在我们的工程实现上,因为3PC无法避免脑裂,同时有其他协议可以做到更多的特性又解决了死等的问题。
图1 三段式提交,在二段式提交基础上增加prepare commit阶段
主流的Paxos算法
微信后台近期开始主要推广Paxos算法用于内部分布式存储。Paxos是Leslie Lamport提出的基于消息传递的一致性算法,解决了分布式存储中多个副本响应读写请求的一致性,Paxos在目前的分布式领域几乎是一致性的代名词(据传Google Chubby的作者Mike Burrows曾说过这个世界上只有一种一致性算法, 那就是Paxos,其他算法都是残次品)。Paxos算法在可能宕机或网络异常的分布式环境中,快速且正确地在集群内部对某个数据的值达成一致,并且保证只要任意多数节点存活,都不会破坏整个系统的一致性。Paxos的核心能力就是多个节点确认一个值,少数服从多数,获得可用性和一致性的均衡。
- 分布式电源对配电系统的影响分析 10次下载
- 分布式存储系统的局部修复码分析 19次下载
- 面向时空数据的分布式区块链综述 15次下载
- 虚拟化模型驱动的分布式数据湖架构设计 5次下载
- Ceph分布式存储系统性能优化研究综述 5次下载
- 基于分布式数据Cache的实时动态迁移机制 20次下载
- 一种可行的分布式存储系统安全构造方法 21次下载
- 基于预分区策略的分布式数据存储方法 18次下载
- 云存储中的Ceph分布式文件系统及节点选择 13次下载
- 区块链中的分布式数据库管理系统相关研究 8次下载
- 如何设计和实现基于UART的机器人分布式控制通信协议概述 7次下载
- 集群环境下分布式索引的实现 0次下载
- 分布式事务控制的原理实例分析 0次下载
- 基于省级截面数据的分布式光伏发电补贴政策实证分析_贾亚雷 0次下载
- 基于IEEE1588协议的分布式系统时钟同步方法 41次下载
- 分布式存储架构面临的挑战 853次阅读
- 如何使用分布式存储系统促进AI模型训练 312次阅读
- 干货:解决分布式缓存与数据库的双存储双写 2336次阅读
- 关于腾讯的开源分布式存储系统DCache 1881次阅读
- 浅谈分布式存储的六大优点 8617次阅读
- Redis 分布式锁的正确实现方式 3286次阅读
- Qtum量子链的分布式自治协议介绍 1325次阅读
- 分布式原理:一文了解 Gossip 协议 1268次阅读
- 分布式存储中HDFS与Ceph两者的区别是什么,各有什么优势? 3w次阅读
- 存储分布式系统中如何从CAP转到PACELC 2575次阅读
- 分布式存储运维系统构架简析 2549次阅读
- 浅谈分布式块存储的元数据服务设计 4740次阅读
- 分布式存储集群设计,集群网络规划方案 2675次阅读
- 深度解读分布式存储技术之分布式剪枝系统 1647次阅读
- 智能电网中的分布式发电技术 1464次阅读
下载排行
本周
- 1电子电路原理第七版PDF电子教材免费下载
- 0.00 MB | 1490次下载 | 免费
- 2单片机典型实例介绍
- 18.19 MB | 93次下载 | 1 积分
- 3S7-200PLC编程实例详细资料
- 1.17 MB | 27次下载 | 1 积分
- 4笔记本电脑主板的元件识别和讲解说明
- 4.28 MB | 18次下载 | 4 积分
- 5开关电源原理及各功能电路详解
- 0.38 MB | 10次下载 | 免费
- 6基于AT89C2051/4051单片机编程器的实验
- 0.11 MB | 4次下载 | 免费
- 7基于单片机和 SG3525的程控开关电源设计
- 0.23 MB | 3次下载 | 免费
- 8基于单片机的红外风扇遥控
- 0.23 MB | 3次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 2PADS 9.0 2009最新版 -下载
- 0.00 MB | 66304次下载 | 免费
- 3protel99下载protel99软件下载(中文版)
- 0.00 MB | 51209次下载 | 免费
- 4LabView 8.0 专业版下载 (3CD完整版)
- 0.00 MB | 51043次下载 | 免费
- 5555集成电路应用800例(新编版)
- 0.00 MB | 33562次下载 | 免费
- 6接口电路图大全
- 未知 | 30320次下载 | 免费
- 7Multisim 10下载Multisim 10 中文版
- 0.00 MB | 28588次下载 | 免费
- 8开关电源设计实例指南
- 未知 | 21539次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935053次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537791次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420026次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233046次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191183次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183277次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138039次下载 | 免费
评论
查看更多