当前位置: 首页 > backend >正文

数据一致性解决方案总结

数据一致性解决方案总结

我们在系统中,主要进行了数据冗余,那么就会带来数据一致性的问题。常见的数据一致性问题有:数据库主从同步延迟导致的读数据不一致;数据库主主之间数据的不一致;缓存和数据库之间的数据不一致。

一、数据库主从数据不一致解决方案

问题产生:

​ 数据库主从数据不一致问题的产生一般是由于数据库主从同步时延导致的,当我们往主库中写数据之后,立刻对这个数据发起了读请求,但是此时可能数据还没有从主库同步到从库中,从而产生了数据不一致的问题。

解决方案:

​ 我们可以借助于一个缓存,当我们操作数据库主库的时候,我们同时往缓存中放入一个 “数据库名称:表名称:主键” 组合的key,然后过期时间设置为主从同步的时延,当我们发起读请求的时候,会先去判断这个key是否存在,如果存在会强制要求读主库,如果这个key不存在,则去读取从库

二、数据库主主之间数据不一致问题解决方案

问题产生:

​ 主库与主库之间数据不一致问题,一般出现在两个主库都提供写服务的时候,当两个主库都对外提供写服务的时候,同时两个主库之间是需要进行数据同步的,那么可能会产生相同主键的数据被覆盖掉的问题

解决方案:

​ 1.只有一个主库对外提供写服务,另外一个主库作为一个影子主库,当主库宕机之后,立刻将流量切换到这个影子主库中

​ 2.如果使用数据表的主键递增,那么两个主库中的表的起始ID不同步长相等,这样可以防止同步的时候,相同主键的数据被覆盖掉

​ 3.在业务层使用分布式ID发号器生成全局唯一的ID进行插入

三、缓存数据库数据不一致解决方案

问题产生:

​ 当我们使用了缓存的时候,有一个无法避免的问题就是,先操作数据库还是先操作缓存,大部分业务都是需要先操作数据库的,如果更新数据库的数据成功,但是缓存操作还没有完成,此时读取操作从缓存中读取到的就是脏数据

解决方案:

​ 常见的缓存和数据库数据的更新有两大类分别是:

​ 1.写时缓存

​ 写时缓存就是 先更新数据库,然后再更新缓存 ,这种方案有个问题,那就是 容易出现读到脏数据的问题 ,比如一个线程更新完数据库后还没有更新完缓存,此时有另一个线程来读取缓存,那么就会读取到之前的老数据。

​ 但是写时缓存的这个问题也不是没有解决办法,那就是 通过加锁,让更新数据库和更新缓存同时只能有一个线程来操作 ,但是这个解决方案的显著问题就是系统性能会变得很差。但是并不是说这种方案没有好处,它的好处就是 数据的实时性强 。线程读到的一定是最新的数据。对于对数据一致性有很强要求的场景比如 ‘金融系统’,这种方案是可以考虑的。

​ 但是这种方案还有一个缺点就是: 如果对缓存的更新失败,需要写操作才能重新操作缓存 ,但是对于大部分业务来说,都是读多写少。这个原因其实也是写时缓存方案使用少的 主要原因

​ 2.读时缓存

​ 读时缓存就是 先更新数据库,然后将缓存删除,等下次读取操作到来时,去更新最新的缓存数据

注意:对于 单机的数据库 来说是可以的,但是如果是对于 主从架构 的数据库来说, 可能不太适用 ,因为会带来更多的读取脏数据问题。

​ 对于数据库主从架构的系统来说,读时缓存有两个常用的方案:

​ 1.延迟双删方案

更新数据库的时候,删除缓存 ,同时可以引入消息中间件mq来 发送一个延迟消息延迟一个时间之后再去删除一次缓存 。这种方案是为了 保证最终一致性 ,对于强一致性的实现支持不太好。

​ 2.订阅binlog删除缓存方案

更新数据库的时候,等到slave数据库接收到master的binlog之后再去删除缓存 。这种方案也是为了 保证最终一致性 ,对于强一致性的实现支持不太好。

四、Redis Sentinel模式下的主从数据不一致问题解决方案

问题产生:

​ 当我们使用Redis的Sentinel模式进行部署的时候,会遇到我们往主节点中写入数据,但是数据还没有同步到从节点中,此时又有读请求到来,读请求分配到了从节点上,就无法读取到最新的数据。

解决方案:

​ 1.对于数据一致性要求非常强的业务场景,比如‘金融行业’我们可以在业务层使用LettuceJedis Cluster客户端来将读请求强制指定到读取主节点中的数据

​ 2.使用 min-slaves-to-writemin-slaves-max-lag 配置主节点写入条件,当主节点和指定数量的从节点完成同步之后才给主节点返回写入成功,这个方案会损失一定的写入可用性

e** 和 min-slaves-max-lag 配置主节点写入条件,当主节点和指定数量的从节点完成同步之后才给主节点返回写入成功,这个方案会损失一定的写入可用性

后续如果我遇到其他数据不一致的情况,会持续进行更新

http://www.xdnf.cn/news/15057.html

相关文章:

  • Java结构型模式---装饰者模式
  • 【通识】NodeJS基础
  • jmeter做跨线程组
  • 【LeetCode207.课程表】以及变式
  • Redis数据淘汰策略
  • 从0开始学习R语言--Day42--LM检验
  • 旅游管理实训室建设的关键要点探讨
  • uniapp中使用uView-plus踩坑记录
  • 数据结构基础准备:包装类 泛型 泛型的上界 密封类
  • 脑电分析入门指南:信号处理、特征提取与机器学习
  • 主流大模型Agent框架 AutoGPT详解
  • 深度学习模型在C++平台的部署
  • vue2 echarts中国地图、在地图上标注经纬度及标注点
  • 伪装计算器软件,隐藏手机隐私文件
  • 精准医疗,AR 锚定球囊扩张导管为健康护航​
  • 暑假读书笔记第五天
  • 剑指offer54_平衡二叉树
  • PostgreSQL如何进行跨服务器迁移数据
  • JavaEE初阶第八期:解锁多线程,从 “单车道” 到 “高速公路” 的编程升级(六)
  • Flink-1.19.0源码详解-番外补充4-JobGraph图
  • HTML应用指南:利用GET请求获取全国山姆门店位置信息
  • 二分查找篇——在排序数组中查找元素的第一个和最后一个位置【LeetCode】
  • Go 延迟调用 defer 用法详解
  • dify配置邮箱,密码重置以及邮箱邀请加入
  • Android Notification 通过增加addAction 跳转回Service重新执行逻辑
  • 中山排气歧管批量自动化智能化3D尺寸测量及cav检测分析
  • QNX中timer的使用
  • 【C++】容器适配器 + stack/queue/deque详解
  • Android-重学kotlin(协程源码第二阶段)新学习总结
  • 【Linux网络编程】Socket - TCP