当前位置: 首页 > ai >正文

Redis 存储原理与数据模型(三)

存储结构

  • key-value键值对通过 hash 的方式存储到数组中
  • value 主要的数据结构有string,list,hash,set,zset
  • value 的数据不是单一类型,可以嵌入 key - value 键值对

 

 存储转换

        redis 在进行编码存储的时候,同一类型不同的数据量会导致编码的方式不同

  • 数据量少的时候,以存储效率高为主
  • 数据量多的时候,以运行查询快为主

数据组织

        redis 的 KV 数据组织方式是字典,通过 hashtable 来实现。hashtable 就是通过 hash 运算的方式来决定字符串放到数组的哪一个槽位,数组的大小根据数据量来进行调整,所以就会涉及到扩容和缩容。

  • 字符串经过 hash 函数运算得到 64 位整数
  • 64 位整数%表长size得到余数,即是字符串在数组中的槽位
  • 将数组存入对应的槽位中

hash 冲突

         当存储的数据个数大于数组的长度时,必将发生冲突,就是在一个槽内存了两个或多个数据。

抽屉原理: n+1个苹果放在 n 个抽屉中,苹果最多的那个抽屉至少有 2 个苹果;64位整数远大 于数组的长度,比如数组长度为 4,那么 1、5、9、1+4n 都是映射到1号位数组;所以大概 率会发生冲突;

 负载因子

负载因子 = used / size , used 是数组存储元素的个数,size 是数组的长度;

负载因子越小,冲突越小;

负载因子越大,冲突越大;

redis 的负载因子是 1

扩容

 如果负载因子 > 1,则会发生扩容,扩容的规则是翻倍扩容;

如果正在 fork (在 rdb、aof 复写以及 rdb-aof 混用情况下)时,会阻止扩容,但是此时若负载 因子 > 5,索引效率大大降低, 则马上扩容;

 扩容的时候,会发生rehash,扩容后每个元素可能会有两个位置出现。

 缩容

如果负载因子 < 0.1 ,则会发生缩容,缩容的规则是恰好包含 used 的 2的n次方;

理解如下:假如此时数组存储元素个数为 9,恰好包含该元素的就是 2的4次方,也就是 16;

缩容也会发生rehash,位置的调整与扩容相反。

 

 渐进式rehash

当 hashtable 中的元素过多的时候,不能一次性 rehash 到 ht[1] ,这样会长期占用 redis,其他 命令得不到响应,所以需要使用渐进式 rehash;

rehash步骤:

        将 ht[0] 中的元素重新经过 hash 函数生成 64 位整数,再对ht[1] 长度进行取余,从而映射到 ht[1]。

渐进式 rehash 规则:

        1. 分治的思想,将 rehash 分到之后的每步增删改查的操作当中;

        2. 在定时器中,闲时最大执行一毫秒 rehash ,每次步长 100 个数组槽位。

处于渐进式 rehash 阶段时,是否会发生扩容缩容?不会!

 Redis 线程模型

        Redis采用"单线程处理命令+多线程处理后台任务"的混合模型。核心命令执行保持单线程特性,通过多线程处理网络I/O、持久化等辅助操作。

单线程命令处理机制

前提:单线程不能有耗时操作

1.避免加锁复杂度

  • 多线程会引入并发冲突,需要加锁控制:
  • 加锁粒度难把控,锁得多了性能下降,锁得少了数据错乱
  • 容易出现死锁、竞态等问题
  • 代码复杂度和维护成本上升

2.避免线程切换开销

  • 多线程会发生频繁的 CPU 上下文切换:
  • 线程切换需要保存/恢复寄存器等上下文信息
  • 如果 Redis 每条命令都切换线程,反而会拉低整体性能

3.数据结构无需加锁

  • 单线程访问所有核心数据结构(如字典、跳表等),天然线程安全
  • 操作原子性强,不会出现“半更新”的问题
  • 命令顺序可控,执行逻辑简单可靠
为什么Redis 命令的单线程快
机制
特点说明
内存数据库所有数据存储在内存中,读取/写入速度极快
高效数据结构字典,跳表,压缩列表,整数集合,quicklist,按需切换,空间与效率均衡
数据组织机制优化渐进式 Rehash,按需扩容,避免一次性耗时操作
Reactor 网络模型使用多路复用(epoll/select/poll),IO 高效
单线程无锁设计所有命令串行执行,避免加锁带来的性能损耗和线程切换开销
优化

1.分治

  •    将rehash分布在每次操作中
  •    定时器 + 空闲时间处理机制

2. 耗时阻塞操作在其他线程中处理

操作线程方式
Lazy Free创建后台线程异步删除大 Key
AOF Rewrite在子进程中异步执行
RDB Save在子进程中快照,不阻塞主线程
Redis 6.0 I/O 多线程网络I/O在多线程中完成,提高并发性能

3.对象类型采用不同的数据结构实现

柔性数组

C99 引入的一种结构体末尾的数组字段,用于实现可变长度数组

  • 柔性数组的大小是在 运行时动态决定的
  • 它不占结构体静态大小,而是结构体分配内存时追加在后面的一段连续空间
struct MyStruct {int id;char name[20];int data[];  // 柔性数组成员,必须是结构体的最后一个字段
};

 Redis reactor_io 多线程网络模型

  • IO密集型程序:主要等待外部资源
  • CPU密集型程序:主要占用CPU计算资源

Redis 主线程管理调度 + 执行命令,IO 线程专职网络通信,让系统性能和单线程一致性两者兼得 

http://www.xdnf.cn/news/5038.html

相关文章:

  • 基于RAG+MCP开发【企文小智】企业智能体
  • (强连通分量)洛谷 P2812 校园网络(加强版)题解
  • 【强化学习】强化学习算法 - 马尔可夫决策过程
  • ROS动态参数 - dynamic reconfigure 动态配置参数
  • JDK21之虚拟线程
  • 在Mathematica中加速绘制图形(LibraryLink)
  • Vue3项目中如何实现网页加载进度条。
  • 专题练习1
  • 图像移动图像归类代码
  • 仁合医疗进博会:创新成果闪耀亮相
  • [逆向工程]什么说ASLR技术(二十三)
  • 操作系统导论——第26章 并发:介绍
  • 剖析 Java 23 特性:深入探究最新功能
  • Android framework功能配置开发
  • SQL JOIN 关联条件和 where 条件的异同
  • AnyTXTSearcher电脑本地文件搜索工具
  • 深入理解 Vue 全局导航守卫:分类、作用与参数详解
  • AVL树:保持平衡的高效二叉搜索树
  • apipost快捷使用实例
  • 43.防雷击浪涌设计
  • 计算机系统结构-第九章-互联网络 第十章
  • Windows系统下【Celery任务队列】python使用celery 详解(一)
  • AIOps 工具介绍
  • Python程序打包为EXE文件的全面指南
  • 面试常考算法2(核心+acm模式)
  • [AI ][Dify] Dify Tool 插件调试流程详解
  • 使用 Python 构建图像编辑应用:一步步指南
  • 强化学习PPO算法学习记录
  • 并发设计模式实战系列(19):监视器(Monitor)
  • 支付宝沙盒模式商家转账经常出现 响应异常: 解包错误