当前位置: 首页 > backend >正文

Redis应用--缓存

目录

一、什么是缓存

1.1 二八定律

二、使用Redis作为缓存

三、缓存的更新策略

3.1 定期更新

3.2 实时生成

四、缓存预热、缓存穿透、缓存雪崩和缓存击穿

4.1 缓存预热

4.2 缓存穿透

4.3 缓存雪崩

4.4 缓存击穿


一、什么是缓存

缓存(cache)是计算机的一个经典的概念,在很多场景都会涉及到。

核心思路就是把一些常用的数据放到访问速度更快的地方,方便随时读取。

注:我们知道对于硬件的访问速度来说,通常情况下 CPU寄存器>内存>硬盘>网络

那么硬盘相对于网络来说就是“触手可及的”,我们就可以使用硬盘作为网络的缓存

对于计算机硬件来说, 往往访问速度越快的设备, 成本越高, 存储空间越小.
缓存是更快, 但是空间上往往是不足的. 因此大部分的时候, 缓存只放一些热点数据 (访问频繁的数据), 就非常有用了.

1.1 二八定律

“二八定律”也就是说20%的数据就能应对80%的访问场景。因此我们只需要将这少量的热点数据缓存起来,就可以应对大多数的场景,从而在整体上有着明显的性能提升。

二、使用Redis作为缓存

在一个网站中我们通常会使用一个关系型数据库(比如MySQL)来存储数据。

关系型数据库虽然功能强大, 但是有⼀个很大的缺陷, 就是性能不高. (换而言之, 进行⼀次查询操作消耗的系统资源较多).因此,如果访问数据库的并发量比较高,对于数据库服务器的压力是很大的,很容易就会导致数据库服务器宕机。
如何让数据库能够承担更大的并发量呢?核心思路主要是两个:
开源:引入更多的机器,部署更多的数据库实例,构成数据库集群。
节流:引入缓存,使用其他的方式保存经常访问的热点数据,从而降低直接访问数据库的请求数量。
Redis就是一个作为数据库缓存的常见方案。
Redis访问速度比MySQL快很多,或者说处理同一个访问请求,Redis消耗的系统资源比MySQL少很多,因此Redis能支持的并发量更大。
Redis数据在内存中,访问内存比硬盘快很多
Redis知识支持简单的key-value存储,不涉及复杂查询的那么多限制规则。

 引入缓存后业务执行流程如下:

客户端访问业务服务器,发起查询请求

业务服务器先查询Redis,看想要的数据在Redis是否存在

     如果存在就直接返回,此时就不必访问MySQL了

     如果不存在,再查询MySQL

按照上述讨论的 "二八定律" , 只需要在 Redis 中放 20% 的热点数据, 就可以使 80% 的请求不再真正查询数据库了.

三、缓存的更新策略

3.1 定期更新

每隔一定的周期,对于访问频繁的数据进行统计,挑选出访问频次最高的前n%的数据。

这种做法的实时性较低,对于一些突然情况应对的并不好。

3.2 实时生成

先给缓存设置容量上限(可以通过Redis的配置文件的maxmemory设置)

接下来把用户的每次查询:

      如果Redis钟存在,直接返回;如果Redis钟不存在,就从数据库查,把查到的结果同时写入Redis。

如果缓存已经满了(达到上限), 就触发缓存淘汰策略, 把⼀些 "相对不那么热门" 的数据淘汰掉.
按照上述过程, 持续⼀段时间之后 Redis 内部的数据自然就是 "热门数据" 了.
通用的淘汰策略有以下几种:
FIFO (First In First Out) 先进先出
把缓存中存在时间最久的(也就是先来的数据)淘汰掉。
LRU (Least Recently Used) 淘汰最久未使用的
记录每个key的最近访问时间,把最近访问时间最老的key淘汰掉。
LFU (Least Frequently Used) 淘汰访问次数最少的
记录每个key最近一段时间的访问次数,把访问次数最少的key淘汰掉
Random 随机淘汰
在所有key中随机抽取幸运儿淘汰。
Redis内置的淘汰策略如下:
volatile-lru 当内存不⾜以容纳新写⼊数据时,从设置了过期时间的key中使⽤LRU(最近最
少使⽤)算法进⾏淘汰allkeys-lru 当内存不⾜以容纳新写⼊数据时,从所有key中使⽤LRU(最近最少使⽤)算法进
⾏淘汰.volatile-lfu 4.0版本新增,当内存不⾜以容纳新写⼊数据时,在过期的key中,使⽤LFU算法
进⾏删除key.allkeys-lfu 4.0版本新增,当内存不⾜以容纳新写⼊数据时,从所有key中使⽤LFU算法进⾏
淘汰.volatile-random 当内存不⾜以容纳新写⼊数据时,从设置了过期时间的key中,随机淘汰数
据.allkeys-random 当内存不⾜以容纳新写⼊数据时,从所有key中随机淘汰数据.volatile-ttl 在设置了过期时间的key中,根据过期时间进⾏淘汰,越早过期的优先被淘汰.
(相当于 FIFO, 只不过是局限于过期的 key)noeviction 默认策略,当内存不⾜以容纳新写⼊数据时,新写⼊操作会报错
整体来说 Redis 提供的策略和我们上述介绍的通用策略是基本⼀致的. 只不过 Redis 这里会针对 "过期key" 和 "全部 key" 做分别处理

四、缓存预热、缓存穿透、缓存雪崩和缓存击穿

4.1 缓存预热

使用 Redis 作为 MySQL 的缓存的时候, 当 Redis 刚刚启动, 或者 Redis ⼤批 key 失效之后, 此时由于Redis 自身相当于是空着的, 没啥缓存数据, 那么 MySQL 就可能直接被访问到, 从而造成较大的压力.因此就需要提前把热点数据准备好,直接写入到Redis,使Redis可以尽快为MySQL撑起保护伞
这份热点数据不⼀定非得那么 "准确", 只要能帮助MySQL 抵挡大部分请求即可. 随着程序运行的推移, 缓存的热点数据会逐渐自动调整, 来更适应当前情况

4.2 缓存穿透

什么是缓存穿透?

访问的 key 在 Redis 和数据库中都不存在. 此时这样的 key 不会被放到缓存上, 后续如果仍然在访问该key, 依然会访问到数据库.
这就会导致数据库承担的请求太多, 压力很大.
这种情况称为缓存穿透.
产生这种情况的原因有以下几个:
业务设置不合理,比如缺少必要的参数校验环节,导致非法的key也被查询了
开发/运维误操作,不小心将部分数据从数据库中误删了
黑客恶意攻击
如何解决这种情况:
针对要查询的参数进行严格的合法性校验. 比如要查询的 key 是用户的手机号, 那么就需要校验当前 key 是否满足⼀个合法的手机号的格式.
针对数据库上也不存在的 key , 也存储到 Redis 中, 比如 value 就随便设成⼀个 "". 避免后续频繁访
问数据库.
使用布隆过滤器先判定 key 是否存在, 再真正查询.

4.3 缓存雪崩

什么是缓存雪崩?

短时间内大量的 key 在缓存上失效,导致数据库压力骤增,甚至直接宕机。

产生原因:

Redis挂了

Redis上大量的key同时过期

解决方案:

部署高可用的Redis集群,并完善报警监控体系

不给key设置过期时间或者设置过期时间时添加随机时间因子

4.4 缓存击穿

什么是缓存击穿?

相当于缓存雪崩的特殊情况. 针对热点 key , 突然过期了, 导致大量的请求直接访问到数据库上, 甚至引起数据库宕机.
解决方案:
基于统计的方式发现热点key,并设置永不过期
进行必要的服务降级,例如访问数据库时使用分布式锁,降低同时请求数据库服务器的并发量
http://www.xdnf.cn/news/7824.html

相关文章:

  • MyBatis简单使用
  • 2025年度消费新潜力白皮书470+份汇总解读|附PDF下载
  • BAGEL-7B-MoT论文速读:统一多模态预训练的新特性
  • JUC高并发编程
  • 【笔记】快速安装Poetry
  • 138. Copy List with Random Pointer
  • Docker 镜像打包到本地
  • Android开发——不同布局的定位属性 与 通用属性
  • 大数据量查询优化:解锁SQL性能提升的关键
  • Node.js多版本安装工具NVM详细使用教程
  • VsCode开发环境之Node.js离线部署
  • JS 应用安全案例泄漏云配置接口调试代码逻辑框架漏洞自检
  • 华为鸿蒙电脑发布,折叠屏怎么选?
  • 实现动态增QuartzJob,通过自定义注解调用相应方法
  • OpenCV CUDA模块特征检测与描述------一种基于快速特征点检测和旋转不变的二进制描述符类cv::cuda::ORB
  • WPF核心类继承树结构
  • 学习路之uniapp--unipush2.0推送功能--服务端推送消息
  • Java安全-Servlet内存马
  • 基于多传感器融合的智能驾驶环境感知系统
  • 【java第19集】java面向对象编程详解
  • MyBatis:简化数据库操作的持久层框架
  • 高噪声下扩展边缘检测算子对检测边缘的影响
  • windows powershell 判断 进程号是否存在
  • 无人机桥梁巡检
  • linux文件重命名命令
  • MIL-C-5015航空插头2芯震动加速度传感器连接器
  • 五、【API 开发篇(下)】:使用 Django REST Framework构建测试用例模型的 CRUD API
  • 云原生安全之PaaS:从基础到实践的技术指南
  • 谈谈 Kotlin 中的构造方法,有哪些注意事项?
  • 【Django系统】Python+Django携程酒店评论情感分析系统