当前位置: 首页 > news >正文

Redis7 底层数据结构解析

Redis底层数据结构深度解析(基于Redis 7.2.5)

本文深入剖析Redis核心数据类型的底层实现机制,涵盖String、Hash、List、Set、Zset的实现原理及版本演进差异。

一、Redis数据存储核心机制

Redis所有数据以redisObject结构统一封装:

typedef struct redisObject {unsigned type:4;      // 数据类型(string, hash等)unsigned encoding:4;  // 底层编码(int, embstr等)unsigned lru:LRU_BITS; // 缓存淘汰策略信息int refcount;         // 引用计数void *ptr;            // 指向实际数据的指针
} robj;
  • 查看指令
    • TYPE key:返回数据类型
    • OBJECT ENCODING key:查看底层编码

二、String类型底层结构

三种编码方式:

  1. int编码
    • 条件:值为整数字符串(可转为long)
    • 特点:ptr直接存储整数值(省去指针开销)
  2. embstr编码
    • 条件:字符串长度 ≤ 44字节
    • 特点:内存连续分配,RedisObject与SDS共享内存
  3. raw编码
    • 条件:字符串长度 > 44字节
    • 特点:RedisObject与SDS分离存储

SDS(Simple Dynamic String)

动态字符串结构,解决C字符串缺陷:

struct __attribute__ ((__packed__)) sdshdr8 {uint8_t len;         // 已用长度uint8_t alloc;       // 总空间unsigned char flags; // 类型标识char buf[];          // 数据存储
};

优势:

  • O(1)复杂度获取长度
  • 二进制安全(允许存储\0
  • 预分配减少内存重分配

三、Hash类型底层结构

编码切换规则:

条件编码方式
所有键值对数量 ≤ hash-max-listpack-entries (默认512) 且 所有值长度 ≤ hash-max-listpack-value (默认64字节)listpack
任一条件不满足hashtable

Listpack(替代Redis6的ziplist)

连续内存结构解决ziplist连锁更新问题:

字段说明
total-bytes (4B)总字节数
num-elements (2B)元素数量
entry (变长)数据节点(每个键值对)
end-byte (1B)结束标识(0xFF)

节点结构

[编码类型][数据长度][实际数据]

→ 无需记录前驱节点长度,避免连锁更新


四、List类型底层结构

编码规则:

  • listpack编码:元素少且长度小
  • quicklist编码:元素多或长度大(默认切换阈值:list-max-listpack-size = -2 即8KB)

Quicklist结构

双向链表 + Listpack的复合结构:

typedef struct quicklist {quicklistNode *head;quicklistNode *tail;unsigned long count;     // 总元素数unsigned long len;       // 节点数...
} quicklist;typedef struct quicklistNode {struct quicklistNode *prev;struct quicklistNode *next;unsigned char *entry;    // 指向listpacksize_t sz;               // listpack字节大小...
} quicklistNode;

优势:

  • 链表结构:高效增删(O(1))
  • Listpack节点:内存连续,减少碎片

五、Set类型底层结构

编码切换规则:

条件编码方式
元素全为整数 & 元素数量 ≤ set-max-intset-entries (默认512)intset
元素数量 ≤ set-max-listpack-entries (默认128) 且 所有元素长度 ≤ set-max-listpack-value (默认64字节)listpack
任一条件不满足hashtable

Intset整数集合

typedef struct intset {uint32_t encoding;  // 编码方式(int16/int32/int64)uint32_t length;    // 元素数量int8_t contents[];  // 数据存储
} intset;

特点:元素有序存储,二分查找效率高


六、Zset类型底层结构

编码切换规则:

条件编码方式
元素数量 ≤ zset-max-listpack-entries (默认128) 且 所有值长度 ≤ zset-max-listpack-value (默认64字节)listpack
任一条件不满足skiplist

Skiplist跳表

多层索引结构实现高效查找:

typedef struct zskiplistNode {sds ele;                         // 元素值double score;                    // 分值struct zskiplistNode *backward;  // 后退指针struct zskiplistLevel {struct zskiplistNode *forward; // 前进指针unsigned long span;          // 跨度} level[];                       // 层级数组
} zskiplistNode;

性能

  • 查询/插入/删除:平均O(logN)
  • 空间复杂度:O(N)

七、Redis版本数据结构对比

数据类型Redis 6Redis 7
stringSDSSDS
hashziplist + hashtablelistpack + hashtable
listquicklist + ziplistquicklist + listpack
setintset + hashtableintset + listpack + hashtable
zsetziplist + skiplistlistpack + skiplist

关键演进:Redis 7使用listpack全面替代ziplist,彻底解决连锁更新问题。

附:Redis高性能核心要素

  1. 精细化数据结构:针对场景选择最优编码
  2. 内存连续存储:SDS/listpack利用CPU缓存
  3. 惰性删除:异步释放避免阻塞
  4. 单线程模型:无锁操作减少竞争
  5. IO多路复用:epoll/kqueue高效网络处理
http://www.xdnf.cn/news/1138969.html

相关文章:

  • Linux驱动14 --- 平台设备总线
  • JPA 与 MyBatis-Plus 数据库自增主键实现方案
  • GraphQL的N+1问题如何被DataLoader巧妙化解?
  • 【人工智能99问】梯度消失、梯度爆炸的定义、后果及规避手段?(7/99)
  • 使用位运算优化 Vue.js 应用:高效状态管理技巧
  • deep learning(李宏毅)--(六)--loss
  • 虚拟化测试工具Parasoft Virtualize如何为汽车企业提供仿真测试?
  • Helm-k8s包管理工具(一)核心概念、helm工作目录
  • 【Servo】伺服驱动器扫频功能方案文档
  • 有痛呻吟!!!
  • Redis面试相关问题总结
  • 离散与组合数学 杂记
  • 学习设计模式《十八》——备忘录模式
  • AI安全威胁之MCP Server投毒攻击实践
  • 深入理解进程等待:wait的简化与waitpid的灵活性
  • centos中新增硬盘挂载文件夹
  • 【FFmpeg 快速入门】本地播放器 项目
  • 林曦词典|文质彬彬
  • 物联网主机在化工园区安全风险智能化管控平台中的应用
  • mongodb 入门级别操作
  • 搞清MVCC
  • 优化 CSS 性能
  • 面试Redis篇-深入理解Redis缓存击穿
  • Selenium 启动的浏览器自动退出问题分析
  • 全面升级!WizTelemetry 可观测平台 2.0 深度解析:打造云原生时代的智能可观测平台
  • 杭州卓健信息科技有限公司 Java 面经
  • web前端渡一大师课 CSS属性计算过程
  • 损失函数的等高线与参数置零的关系
  • 从AWS MySQL数据库下载备份到S3的完整解决方案
  • Linux操作系统之线程:线程概念