0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

软件系统的数据存储设计

h1654155333.5939 来源:laobabab 作者:laobabab 2024-08-22 11:13 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

软件系统的数据存储设计

数据库的设计是系统开发必不可少的环节,数据库设计的合理性将会节省大量数据存储空间,同时保证了数据的完整性以及整个系统运行的畅通高效性。此外,优秀的数据库设计还应当考虑到数据库应用系统的后续开发,保证数据查询的高效性,满足用户的应用需求,加快网页访问浏览速度,给用户带来良好的使用体验等等。

一般涉及大规模数据的查询处理时,用户查询数据的效率就会体现的越发明显,而查询数据的效率将会直接影响到用户的使用感,如果数据库表设计不合理, 数据访问迟缓造成系统的卡顿,这对于系统的性能而言无疑是致命的。因此在系统设计的初期就需要对数据的特征作详细分析整理,当充分了解到被处理数据互相之间的联系后再设计数据库表就会避免很多后续工作意外的发生,既减少冗余和耦合同时也减少了不必要的工作量。如下表所示是系统内所有数据表的说明,后续主要对他们中的核心字段以及字段对应之间的联系和信息进行介绍说明。

RDBMS 读写分离

读写分离是基于主从复制架构,一个主库,有多个从库,主库主要负责写,写完后主库会自动把数据给同步给从库。主从复制,是用来建立一个和主数据库完全一样的数据库环境,称为从数据库,主数据库一般是准实时的业务数据库。一台服务器充当主服务器,而另外一台服务器充当从服务器。此时主服务器会将更新信息写入到一个特定的二进制文件中,并会维护文件的一个索引用来跟踪日志循环,这个日志可以记录并发送到从服务器的更新中去。一台从服务器连接到主服务器时,从服务器会通知主服务器从服务器的日志文件中读取最后一次成功更新的位置。然后从服务器会接收从哪个时刻起发生的任何更新,然后锁住并等到主服务器通知新的更新。

wKgZombGqmOAZDLSAAFPCkHEqHQ364.png

​读写分离原理图

主库将变更写入binlog日志,然后从库连接到主库之后,从库有一个 IO 线程,将主库的 binlog 日志拷贝到自己本地,写入一个 relay中继日志(relay log)中。接着从库中有一个SQL线程会从中继日志读取binlog,然后执行binlog日志中的内容,也就是在自己本地再次执行一遍SQL语句,从而使从服务器和主服务器的数据保持一致。

主从配置就是围绕这个原理配置,也就是说:从库会生成两个线程,一个I/O线程,一个SQL线程;I/O线程会去请求主库的binlog,并将得到的binlog写到本地的relay-log(中继日志)文件中;主库会生成一个log dump线程,用来给从库I/O线程传binlog;SQL线程,会读取relay log文件中的日志,并解析成sql语句逐一执行。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据存储
    +关注

    关注

    5

    文章

    1038

    浏览量

    53020
  • 软件系统
    +关注

    关注

    0

    文章

    70

    浏览量

    9844
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    存储互斥失败导致数据丢失的数据恢复成功案例

    某单位使用得一套信息管理平台,通过3台虚拟机共用一台存储设备,存储了企业大量核心业务数据。管理员在日常运维中,向该存储网络新增接入一台Windows
    的头像 发表于 04-29 16:45 569次阅读

    卫星数据管理:127GB单次过境数据,硬盘存储系统如何应对?

    在卫星数据管理全链路中——从信号捕获、解码分析到长期归档——存储系统虽处幕后,却是保障业务连续性的关键基础设施。一旦存储环节出现故障,整个数据处理链路将面临中断风险。卫星
    的头像 发表于 04-23 17:15 286次阅读
    卫星<b class='flag-5'>数据</b>管理:127GB单次过境<b class='flag-5'>数据</b>,硬盘<b class='flag-5'>存储系统</b>如何应对?

    野外数据采集系统中的稳定存储:CS 创世 SD NAND 应用分析

    ,STM32L系列同样集成了SDIO/SDMMC接口,能够在唤醒期间与CS创世SD NAND进行高效的数据通信,完成存储任务后迅速命令其下电,从而将整个系统的工作周期能耗降至最低。 (二)存储
    发表于 03-20 18:17

    【案例5.1】存储器选型的考虑要点

    器的选型。以下是选型时最关键的两个因素:(1)产品对存储器容量的要求。一般由系统设计部门和软件设计部门,根据产品需求,共同确定对存储器容量的要求。本案例中的
    的头像 发表于 03-04 17:20 478次阅读
    【案例5.1】<b class='flag-5'>存储</b>器选型的考虑要点

    在线测径仪是否配备测控软件分析系统

    软件系统。 基础配置与核心功能 多轴测径仪标配软件系统:四轴、八轴、十六轴等测径仪均配备测控软件,支持实时显示多方向测量值(如直径、椭圆度)
    发表于 12-03 14:10

    数据采集系统GM10标配软件功能亮点

    支持把横河GM10数据采集系统内存文件复制到本地,并直接调用软件分析,升级后的iDAQAnywhere软件,可以直接获取GM10主机内存文件(GEV等),并复制到本地计算机。用户只要双
    的头像 发表于 09-25 10:13 519次阅读
    <b class='flag-5'>数据</b>采集<b class='flag-5'>系统</b>GM10标配<b class='flag-5'>软件</b>功能亮点

    后台系统显示 “数据乱码”,是通信问题还是软件问题?

    后台系统显示 “数据乱码” 的核心原因是 **“数据的编码格式与解码格式不匹配”** 或 “数据在传输 / 处理过程中被破坏” ,通信问题和软件
    的头像 发表于 09-23 11:02 1476次阅读

    服务器数据恢复—重装系统后OceanStor存储上的分区数据丢失这样恢复

    服务器存储数据恢复环境: 华为OceanStor某型号存储+扩展盘柜,存储中的硬盘组建了raid5磁盘阵列,上层分配了1个lun。 linux操作
    的头像 发表于 09-02 15:32 802次阅读
    服务器<b class='flag-5'>数据</b>恢复—重装<b class='flag-5'>系统</b>后OceanStor<b class='flag-5'>存储</b>上的分区<b class='flag-5'>数据</b>丢失这样恢复

    NAS存储系统断电风险大?UPS电源守护数据安全刻不容缓

    在数字化时代,企业数据已成为最宝贵的资产。NAS存储系统作为企业数据存储的核心设备,一旦遭遇意外断电,轻则导致数据丢失,重则造成设备损坏,给
    的头像 发表于 08-25 10:13 1219次阅读
    NAS<b class='flag-5'>存储系统</b>断电风险大?UPS电源守护<b class='flag-5'>数据</b>安全刻不容缓

    【干货速递】嵌入式数据可靠性,软件设计的这些细节不能忽视!

    问题。软件设计软件设计在嵌入式数据存储可靠性中扮演着至关重要的角色。它不仅包括系统驱动的开发,还涉及应用层面的优化。一个精心设计的
    的头像 发表于 07-31 11:34 699次阅读
    【干货速递】嵌入式<b class='flag-5'>数据</b>可靠性,<b class='flag-5'>软件</b>设计的这些细节不能忽视!

    RISC-V 在数据中心软件生态系统中的机遇与挑战

    软件适配来看,数据中心核心业务涉及的操作系统存储数据库、大数据平台、云虚拟化技术及主流编程语
    发表于 07-18 13:38 5545次阅读

    Ceph分布式存储系统解析

    在当今数据爆炸的时代,企业对存储系统的需求日益增长,传统的集中式存储已经无法满足大规模数据处理的要求。分布式存储系统应运而生,而Ceph作为
    的头像 发表于 07-14 11:15 1261次阅读

    如何避免存储示波器再次崩溃?

    为避免存储示波器再次崩溃,需从系统维护、硬件管理、操作规范和应急预案四个维度构建完整的防护体系。以下是具体措施及实施要点:一、系统软件层面1. 固件与
    发表于 05-23 14:47

    是德LCR测试仪E4981数据存储与导出方式技术解析

    软件生态的协同设计,构建了一套完善的数据存储与导出体系。本文将从存储机制、接口协议、软件工具及安全规范四个维度,
    的头像 发表于 05-14 18:14 1085次阅读
    是德LCR测试仪E4981<b class='flag-5'>数据</b><b class='flag-5'>存储</b>与导出方式技术解析

    电磁数据展示系统软件平台全面解析

    电磁数据展示系统软件平台全面解析
    的头像 发表于 05-13 10:13 926次阅读
    电磁<b class='flag-5'>数据</b>展示<b class='flag-5'>系统软件</b>平台全面解析