资料介绍
软件简介
CURVE 是网易开源的高性能、高可用、高可靠分布式存储系统,具有非常良好的扩展性。基于该存储底座可以打造适用于不同应用场景的存储系统,如块存储、对象存储、云原生数据库等。CURVE 的设计开发始终围绕三个理念:一是顺应当前存储硬件设施发展趋势,做到软硬件结合打造顶级的存储产品;二是秉持 “Simple Can be harder than complex”,了解问题本质情况下选择最简单的方案解决问题;三是拥抱开源,在充分调研的前提下使用优秀的开源项目组件,避免造轮子。
当前网易基于 CURVE 已经实现了高性能块存储系统,支持快照克隆和恢复 ,支持 QEMU 虚拟机和物理机 NBD 设备两种挂载方式, 在网易内部作为高性能云盘使用。
特性
1. 高性能
高性能是 CURVE 的一大特点,也是项目团队创建 CURVE 项目的初衷。RPC 层面 CURVE 采用了高性能和低延迟并且已开源的 brpc;在一致性层面选择了基于 quorum 机制并且开源的 braft,从协议层面来说 quorum 机制在延迟方面天生优于多副本强一致的方式。实现上 CURVE 对 braft 快照的实现进行了优化,在状态机的实现上采用 chunkfilepool 的方式 ( 初始化集群的时候格式化出指定比例的空间用作 chunk ) 使得底层的写入放大为 0;此外CURVE 还在 chunk 上进行更细力度的地址空间 hash 以达到读写分离、减小 IO 碰撞等的效果,从而进一步提升 IO 性能。
2. 高可用
高可用是 CURVE 的另一大特点。MDS、ChunkServer 以及 SnapShotCloneServer 都支持多实例部署,部分实例异常不影响整个集群的可用性。
-
MDS
MDS 是无状态的,推荐至少部署两个实例。通过 Etcd 进行选主。多个 MDS 实例通过 Etcd 进行选主,当单个实例失效时,可以秒级切换到另外一个实例。失效实例上正在处理的请求,Client 和 SnapShotCloneServer 都会对其进行重试,以达到不影响集群可用性的效果。
-
SnapShotCloneServer
SnapShotCloneServer 与 MDS 类似, 也是通过 Etcd 进行选主,不同的是,它通过负载均衡对外提供服务。失效期间的请求失败重试都是幂等的,不影响任务的正确性以及集群的可用性。
-
ChunkServer
ChunkServer 是一个集群,通过 Raft 协议保持数据一致性,并通过 MDS 做负载均衡。单个节点失效时,会影响到这个节点上存储的所有 Copyset。对于 Copyset 上的 Leader 节点,会中断服务,等待重新选举;对于Copyset 上的 follower 节点,服务不会受影响。当某个 Chunkserver 节点失效且在一段时间内无法恢复,MDS 会将其上的数据迁移到其他节点上。
- 基于综合需求侧响应的多能存储系统优化 17次下载
- 基于KingSCADA的分布式运动控制监测系统 9次下载
- 分布式存储系统的局部修复码分析 19次下载
- 分布式存储系统中的纠删码容错方法综述 4次下载
- Ceph分布式存储系统性能优化研究综述 5次下载
- 基于分布式数据Cache的实时动态迁移机制 20次下载
- 一种可行的分布式存储系统安全构造方法 21次下载
- 云存储中的Ceph分布式文件系统及节点选择 13次下载
- 如何使用闪存实现图像存储系统的设计 10次下载
- 主动容错技术如何提高存储系统的可靠性详细算法模型资料说明 9次下载
- 一种面向高性能计算的分布式对象存储系统 0次下载
- 基于再生码的分布式存储节点修复优化 1次下载
- 基于高清视频数据的高性能分布式存储系统 1次下载
- 集群环境下分布式索引的实现 0次下载
- 基于EVMS的带外虚拟存储系统结构 38次下载
- 分布式存储架构面临的挑战 853次阅读
- 如何使用分布式存储系统促进AI模型训练 312次阅读
- 一文参透分布式存储系统Ceph的架构设计、集群搭建 721次阅读
- 干货:解决分布式缓存与数据库的双存储双写 2336次阅读
- 关于腾讯的开源分布式存储系统DCache 1881次阅读
- 分布式存储的系统架构 1907次阅读
- 浅谈分布式存储的六大优点 8617次阅读
- 存储分布式系统中如何从CAP转到PACELC 2575次阅读
- 基于单机存储系统故障恢复 777次阅读
- 分布式存储运维系统构架简析 2549次阅读
- 浅谈分布式块存储的元数据服务设计 4740次阅读
- 分布式存储集群设计,集群网络规划方案 2675次阅读
- 深度解读分布式存储技术之分布式剪枝系统 1647次阅读
- 分布式存储系统技术解读 3642次阅读
- 铁电存储器在验光仪数据存储系统中的应用 1656次阅读
下载排行
本周
- 1ATmega8芯片中文手册
- 2.45 MB | 3次下载 | 1 积分
- 2带有集成场效应晶体管(FET) 的3.1V至5.5V输入,3A输出同步降压稳压器TPS51312数据表
- 1.28MB | 3次下载 | 免费
- 3VGA 转 HDMI 输出的音视频采集卡LCC385数据手册
- 0.34 MB | 2次下载 | 免费
- 4全志A527系列规格书YNH-830-V1
- 2.39 MB | 2次下载 | 免费
- 5光伏太阳能电池板可编程最大功率点跟踪控制器SM72442数据表
- 373.53KB | 2次下载 | 免费
- 6传感芯片选型指南
- 3.60 MB | 2次下载 | 免费
- 7SZFC 8 位单片机FC2722用户参考手册
- 3.35 MB | 1次下载 | 免费
- 850-A,4.5-V至14-V输入,非隔离,宽输出调节,采用TurboTrans™技术的电源模块PTH08T250W数据表
- 2.42MB | 1次下载 | 免费
本月
- 1DC-DC电路(Buck)的设计与仿真
- 0.60 MB | 23次下载 | 2 积分
- 2UHD智能显示SoC VS680产品简介
- 0.46 MB | 11次下载 | 免费
- 3ES9038PRO解码芯片的电路原理图介绍
- 0.25 MB | 11次下载 | 5 积分
- 4采用 Impedance Track™ 技术的宽量程电量监测计BQ34Z100-G1数据表
- 2.7MB | 7次下载 | 免费
- 5东芝BiCD集成电路硅单片TB67S109AFNAG数据手册
- 1.93 MB | 6次下载 | 免费
- 6CR6842 12V/5A 反激式开关电源方案介绍
- 0.10 MB | 6次下载 | 免费
- 716A 输出电流,高可靠、高效率 同步降压转换器PCD3201产品手册
- 0.47 MB | 6次下载 | 免费
- 8TDK电容器产品指南
- 11.88 MB | 6次下载 | 1 积分
总榜
- 1matlab软件下载入口
- 未知 | 935085次下载 | 免费
- 2开源硬件-PMP21529.1-4 开关降压/升压双向直流/直流转换器 PCB layout 设计
- 1.48MB | 420049次下载 | 免费
- 3Altium DXP2002下载入口
- 未知 | 233067次下载 | 免费
- 4电路仿真软件multisim 10.0免费下载
- 340992 | 191315次下载 | 免费
- 5十天学会AVR单片机与C语言视频教程 下载
- 158M | 183316次下载 | 免费
- 6labview8.5下载
- 未知 | 81567次下载 | 免费
- 7Keil工具MDK-Arm免费下载
- 0.02 MB | 73786次下载 | 免费
- 8NI LabVIEW中实现3D视觉的工具和技术
- 未知 | 70088次下载 | 免费
评论
查看更多