0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分布式系统中的数据库和缓存操作顺序

汽车玩家 来源:简书 作者:Java微服务 2020-05-03 14:36 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

前言

在分布式系统中,缓存和数据库同时存在时,如果有写操作的时候,先操作数据库还是先操作缓存呢?先思考一下,可能会存在哪些问题,再往下看。下面我分几种方案阐述。

缓存维护方案一

假设有一写(线程A)一读(线程B)操作,先操作缓存,在操作数据库。,如下流程图所示:

分布式系统中的数据库和缓存操作顺序

1)线程A发起一个写操作,第一步del cache

2)线程A第二步写入新数据到DB

3)线程B发起一个读操作,cache miss,

4)线程B从DB获取最新数据

5)请求B同时set cache

这样看,没啥问题。我们再看第二个流程图,如下:

分布式系统中的数据库和缓存操作顺序

1)线程A发起一个写操作,第一步del cache

2)此时线程B发起一个读操作,cache miss

3)线程B继续读DB,读出来一个老数据

4)然后老数据入cache

5)线程A写入了最新的数据

OK,酱紫,就有问题了吧,老数据入到缓存了,每次读都是老数据啦,缓存与数据与数据库数据不一致。

缓存维护方案二

双写操作,先操作缓存,在操作数据库。

分布式系统中的数据库和缓存操作顺序

1)线程A发起一个写操作,第一步set cache

2)线程A第二步写入新数据到DB

3)线程B发起一个写操作,set cache,

4)线程B第二步写入新数据到DB

这样看,也没啥问题。,但是有时候可能事与愿违,我们再看第二个流程图,如下:

分布式系统中的数据库和缓存操作顺序

1)线程A发起一个写操作,第一步set cache

2)线程B发起一个写操作,第一步setcache

3)线程B写入数据库到DB

4)线程A写入数据库到DB

执行完后,缓存保存的是B操作后的数据,数据库是A操作后的数据,缓存和数据库数据不一致。

缓存维护方案三

一写(线程A)一读(线程B)操作,先操作数据库,再操作缓存。

分布式系统中的数据库和缓存操作顺序

1)线程A发起一个写操作,第一步write DB

2)线程A第二步del cache

3)线程B发起一个读操作,cache miss

4)线程B从DB获取最新数据

5)线程B同时set cache

这种方案没有明显的并发问题,但是有可能步骤二删除缓存失败,虽然概率比较小,优于方案一和方案二,平时工作中也是使用方案三。

综上对比,我们一般采用方案三,但是有没有完美全解决方案三的弊端的方法呢?

缓存维护方案四

这个是方案三的改进方案,都是先操作数据库再操作缓存,我们来看一下流程图:

分布式系统中的数据库和缓存操作顺序

通过数据库的binlog来异步淘汰key,以mysql为例 可以使用阿里的canal将binlog日志采集发送到MQ队列里面,然后通过ACK机制 确认处理这条更新消息,删除缓存,保证数据缓存一致性。

但是呢还有个问题,如果是主从数据库呢?

缓存维护方案五

主从DB问题:因为主从DB同步存在同时延时时间如果删除缓存之后,数据同步到备库之前已经有请求过来时,会从备库中读到脏数据,如何解决呢?解决方案如下流程图:

分布式系统中的数据库和缓存操作顺序

缓存维护总结

综上所述,在分布式系统中,缓存和数据库同时存在时,如果有写操作的时候,先操作数据库,再操作缓存。如下:

(1)读取缓存中是否有相关数据

(2)如果缓存中有相关数据value,则返回

(3)如果缓存中没有相关数据,则从数据库读取相关数据放入缓存中key->value,再返回

(4)如果有更新数据,则先更新数据,再删除缓存

(5)为了保证第四步删除缓存成功,使用binlog异步删除

(6)如果是主从数据库,binglog取自于从库

(7)如果是一主多从,每个从库都要采集binlog,然后消费端收到最后一台binlog数据才删除缓存

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据库
    +关注

    关注

    7

    文章

    4087

    浏览量

    68585
  • 分布式系统
    +关注

    关注

    0

    文章

    157

    浏览量

    19931
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AI Ceph 分布式存储教程资料大模型学习资料2026

    的实战应用,优化数据加载路径是提升训练效率的关键技术手段。科技视角下的解决方案,引入了多级缓存与智能预取机制。 针对训练数据集中频繁访问的热点数据
    发表于 05-01 17:35

    京东缓存中间件架构与缓存内核优化

    一、京东缓存中间件架构 1、背景 在当今高并发、分布式系统架构缓存已成为提升应用性能、降低数据库
    的头像 发表于 04-03 16:18 1834次阅读
    京东<b class='flag-5'>缓存</b>中间件架构与<b class='flag-5'>缓存</b>内核优化

    2022全新版!Java分布式架构设计与开发实战(完结)

    2022全新版!Java分布式架构设计与开发实战(完结) 分库分表实战:Java海量数据存储架构设计 在现代互联网应用,随着业务规模的指数级增长,数据库性能瓶颈已成为制约
    发表于 03-30 15:20

    TiDB分布式数据库运维实践

    TiDB 是 PingCAP 开发的开源分布式关系型数据库,兼容 MySQL 5.7 协议,底层存储基于 TiKV(分布式 KV 存储)和 RocksDB。它解决的核心问题是:当单机 MySQL 无法承载
    的头像 发表于 03-04 15:44 352次阅读

    分布式数据恢复—Ceph+TiDB数据恢复报告

    无法正常访问。目标需要恢复的RBD卷存储了一台虚拟机的完整磁盘镜像,该虚拟机内部运行TiDB分布式数据库系统,包含重要的业务数据
    的头像 发表于 02-03 17:22 283次阅读
    <b class='flag-5'>分布式</b><b class='flag-5'>数据</b>恢复—Ceph+TiDB<b class='flag-5'>数据</b>恢复报告

    【节能学院】Acrel-1000DP分布式光伏监控系统在奉贤平高食品 4.4MW 分布式光伏应用

    摘要:在“双碳”和新型电力系统建设背景下,分布式光伏接入比例不断提高,对配电网电压、调度运行及调峰等环节造成强烈冲击。本文设计包含平台层、设备层二层架构体系的分布式光伏管控平台,以及小容量工商业
    的头像 发表于 08-23 08:04 3699次阅读
    【节能学院】Acrel-1000DP<b class='flag-5'>分布式</b>光伏监控<b class='flag-5'>系统</b>在奉贤平高食品 4.4MW <b class='flag-5'>分布式</b>光伏<b class='flag-5'>中</b>应用

    分布式光伏发电监测系统技术方案

    分布式光伏发电监测系统技术方案 柏峰【BF-GFQX】一、系统目标 :分布式光伏发电监测系统旨在通过智能化的监测手段,实现对
    的头像 发表于 08-22 10:51 3523次阅读
    <b class='flag-5'>分布式</b>光伏发电监测<b class='flag-5'>系统</b>技术方案

    Redis缓存的经典问题和解决方案

    用户疯狂查询数据库不存在的数据,每次查询都绕过缓存直接打到数据库,导致数据库压力骤增。
    的头像 发表于 08-20 16:24 921次阅读

    一键部署无损网络:EasyRoCE助力分布式存储效能革命

    分布式存储的性能瓶颈往往在于网络。如何构建一个高带宽、超低时延、零丢包的无损网络,是释放分布式存储全部潜力、赋能企业关键业务(如实时数据库、AI训练、高性能计算)的关键挑战。
    的头像 发表于 08-04 11:34 1858次阅读
    一键部署无损网络:EasyRoCE助力<b class='flag-5'>分布式</b>存储效能革命

    Ceph分布式存储系统解析

    在当今数据爆炸的时代,企业对存储系统的需求日益增长,传统的集中式存储已经无法满足大规模数据处理的要求。分布式存储系统应运而生,而Ceph作为
    的头像 发表于 07-14 11:15 1265次阅读

    EtherCAT科普系列(15):EtherCAT技术在分布式测控系统领域应用

    分布式测控系统即集散控制系统,是一种以控制器和现场设备为基础,将相关工艺信号汇集到系统,并由操作
    的头像 发表于 07-08 11:17 1356次阅读
    EtherCAT科普系列(15):EtherCAT技术在<b class='flag-5'>分布式</b>测控<b class='flag-5'>系统</b>领域应用

    数据库数据恢复—MongoDB数据库文件丢失的数据恢复案例

    MongoDB数据库数据恢复环境: 一台操作系统为Windows Server的虚拟机上部署MongoDB数据库。 MongoDB数据库
    的头像 发表于 07-01 11:13 822次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—MongoDB<b class='flag-5'>数据库</b>文件丢失的<b class='flag-5'>数据</b>恢复案例

    PLC数据台对接到MySQL数据库并对接到生产看板

    生产任务的先后顺序和时间节点,优化生产资源的配置,确保生产过程的高效运行。 对此,数之能提供PLC数据台对接到MySQL数据库和生产看板的解决方案,助力企业实现提质增效与智能管控。其
    的头像 发表于 05-26 11:20 683次阅读
    PLC<b class='flag-5'>数据</b><b class='flag-5'>中</b>台对接到MySQL<b class='flag-5'>数据库</b>并对接到生产看板

    MySQL数据库是什么

    MySQL数据库是一种 开源的关系型数据库管理系统(RDBMS) ,由瑞典MySQL AB公司开发,后被Oracle公司收购。它通过结构化查询语言(SQL)进行数据存储、管理和
    的头像 发表于 05-23 09:18 1488次阅读

    多通道电源管理芯片在分布式能源系统的优化策略

    摘要: 随着分布式能源系统的广泛应用,对电源管理芯片的性能要求日益提升。本文深入探讨了多通道电源管理芯片在分布式能源系统的优化策略,以国科
    的头像 发表于 05-16 15:22 1124次阅读