当前位置: 首页 > ds >正文

缓存击穿,缓存穿透,缓存雪崩的原因和解决方案

在分布式系统中,缓存是提升性能的重要组件,但同时也可能引发“缓存击穿”“缓存穿透”“缓存雪崩”等问题。以下从原因、解决方案两方面详细解析这三个概念,并通过对比表格帮助理解。

一、缓存击穿(Cache Breakdown)

定义

大量并发请求同时访问一个过期的热点缓存数据,导致请求直接穿透缓存到达数据库,造成数据库压力骤增。

原因
  • 热点数据特性:某一数据被高频访问(如秒杀商品、热门新闻),缓存过期瞬间,大量请求同时失效。
  • 过期时间集中:热点数据的缓存过期时间设置相同,导致同时失效。
解决方案
  1. 互斥锁(Mutex)

    • 在缓存失效时,先获取锁再查询数据库,确保同一时间只有一个请求访问数据库,其他请求等待锁释放后从缓存获取数据。
    • 示例代码(伪代码)
      def get_data(key):data = cache.get(key)if not data:lock.acquire()  # 获取锁try:data = cache.get(key)  # 二次检查if not data:data = db.query(key)cache.set(key, data, expire_time)finally:lock.release()  # 释放锁return data
      
    • 优缺点:实现简单,但可能存在锁竞争导致的性能损耗。
  2. 热点数据“永不过期”

    • 不设置过期时间,通过异步任务(如定时任务)更新数据,避免缓存失效瞬间的并发问题。
    • 注意:需结合业务场景,避免数据长时间不更新导致不一致。
  3. 随机过期时间

    • 为热点数据设置略有差异的过期时间(如expire_time + 随机值),避免集中失效。

二、缓存穿透(Cache Penetration)

定义

请求频繁查询缓存和数据库中都不存在的数据,导致请求直接穿透缓存到达数据库,消耗大量资源。

原因
  • 恶意攻击:黑客通过批量请求不存在的Key(如user_id=-1),暴力攻击数据库。
  • 业务逻辑漏洞:前端校验不严格,用户可访问不存在的资源。
解决方案
  1. 布隆过滤器(Bloom Filter)

    • 在请求进入数据库前,用布隆过滤器预先判断数据是否存在:
      • 若布隆过滤器认为数据存在,再查询缓存和数据库;
      • 若认为不存在,直接返回空结果,避免数据库查询。
    • 优点:空间效率高,可快速过滤无效请求;
    • 缺点:存在误判率(可能将不存在的数据判断为存在),需定期更新布隆过滤器。
  2. 缓存空值

    • 当查询数据库发现数据不存在时,在缓存中存储一个特殊值(如null),并设置较短的过期时间(如5分钟),避免重复请求穿透数据库。
    • 示例
      data = db.query(key)
      if not data:cache.set(key, "null", 5 * 60)  # 缓存空值5分钟
      
    • 注意:空值缓存时间不宜过长,避免真实数据插入后无法及时更新。
  3. 接口校验与权限控制

    • 对请求参数进行合法性校验(如ID范围、格式),过滤明显无效的请求;
    • 对敏感接口增加权限认证,防止恶意攻击。

三、缓存雪崩(Cache Avalanche)

定义

大量缓存在同一时间段内失效缓存服务整体宕机,导致海量请求直接涌向数据库,造成数据库负载过高甚至崩溃。

原因
  • 过期时间集中:大量缓存的过期时间设置在同一时间段(如凌晨1点),失效时引发流量洪峰。
  • 缓存服务故障:缓存集群(如Redis)因网络故障、内存不足等原因整体不可用,所有请求失去缓存层保护。
解决方案
  1. 分散过期时间

    • 为缓存设置随机过期时间(如基础时间 + 随机偏移量),避免大量缓存同时失效。
    • 示例expire_time = 3600 + random(600)(1小时到1小时10分钟之间随机)。
  2. 多级缓存架构

    • 部署多层缓存(如本地缓存+分布式缓存),当一层缓存失效时,其他层仍可提供服务。
    • 示例
      • 本地缓存(如Guava Cache)用于快速响应高频请求;
      • 分布式缓存(如Redis)作为第二层缓存;
      • 数据库作为最终数据源。
  3. 缓存高可用与熔断降级

    • 高可用:搭建缓存集群(如Redis主从+哨兵、集群模式),避免单点故障;
    • 熔断降级:当缓存服务异常时,通过熔断机制暂时屏蔽缓存层,直接访问数据库,并限制请求频率(如限流),防止数据库被压垮。
    • 工具推荐:Hystrix、Sentinel。
  4. 限流与降级策略

    • 在应用层设置请求限流(如每秒最多处理1000个请求),超出阈值的请求直接返回错误或排队等待;
    • 对非核心业务进行降级(如暂时返回静态页面),保障核心服务可用。

四、三者对比总结

问题核心原因典型场景关键解决方案
缓存击穿热点数据缓存失效,并发请求穿透秒杀商品、热门新闻详情页互斥锁、热点数据永不过期、随机过期时间
缓存穿透请求不存在的数据,击穿缓存恶意攻击、参数校验缺失布隆过滤器、缓存空值、接口参数校验
缓存雪崩大量缓存同时失效或服务宕机缓存过期时间集中、Redis集群故障分散过期时间、多级缓存、熔断降级、限流

五、实际应用建议

  • 综合方案:根据业务场景组合使用多种方案(如布隆过滤器+缓存空值解决穿透,互斥锁+随机过期时间解决击穿)。
  • 监控与预警:实时监控缓存命中率、数据库负载、请求流量,设置告警阈值,及时发现问题。
  • 演练与优化:通过压测模拟三种场景,验证解决方案的有效性,并持续优化缓存策略(如调整过期时间、扩容缓存集群)。
http://www.xdnf.cn/news/14117.html

相关文章:

  • 【Pandas】pandas DataFrame replace
  • 基于深度学习的智能视频分析系统:技术与实践
  • GO 1.25
  • 计算机网络笔记(四十)——6.3远程终端协议TELNET
  • 【学习笔记】重载和重写的注意事项
  • Java面试题021:一文深入了解微服务之网关Zuul
  • window 显示驱动开发-DirectX VA 2.0 的扩展支持
  • 《Deep Residual Learning for Image Recognition》(深度残差学习在图像识别中的应用)
  • SpringBoot深度解析:从核心原理到最佳实践
  • 用 HTML、CSS 和 JavaScript 实现五子棋人机对战游戏
  • uniapp-vue3-js-vite-pinia-eslint 快速开发模板
  • 初学时间复杂度
  • LSM树与B+树优缺点分析
  • C primer plus (第六版)第七章 编程练习第9题
  • uniapp中vue3 ,uview-plus使用!
  • 阿里云OSS
  • 使用 Higress AI 网关代理 vLLM 推理服务
  • el-tree-select 多选树形下拉框,实现当选中时,根据当前选择的对象,动态生成表单数据。
  • Go并发编程中的内存同步与竞态:从理论到实践
  • 使用Stone 3D免编码快速创建带AI数字人的数字空间
  • Day30 模块和库的导入
  • 安科瑞 ADW600 多回路电力计量模块:安装、通信与使用指南
  • 流编辑器sed
  • 深入理解 C++ const:九大用法解析 + 八大高频考点
  • android mvI架构梳理
  • M - 中位数
  • Android 实体键盘 设置默认布局
  • 【舞蹈】FineDance
  • 新一代python管理工具--uv
  • Rust 学习笔记1