当前位置: 首页 > news >正文

Redis集群方案——Redis分片集群

        Redis分片集群(Redis Cluster)是Redis官方提供的分布式解决方案,它允许数据自动分布在多个Redis节点上,提供高性能、高可用的Redis服务。

主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决:

  • 海量数据存储问题

  • 高并发写的问题

使用分片集群可以解决上述问题,如图:

分片集群特征:

  • 集群中有多个master,每个master保存不同数据

  • 每个master都可以有多个slave节点

  • master之间通过ping监测彼此健康状态

  • 客户端请求可以访问集群任意节点,最终都会被转发到正确节点

1.散列插槽

        Redis 分片集群引入了哈希槽的概念,Redis 集群有 16384 个哈希槽,每个 kev通过 CRC16 校验后对 16384 取模来决定放置哪个槽,集群的每个节点负责一部分 hash 槽。

1.1 插槽原理

Redis会把每一个master节点映射到0~16383共16384个插槽(hash slot)上,查看集群信息时就能看到:

数据key不是与节点绑定,而是与插槽绑定。redis会根据key的有效部分计算插槽值,分两种情况:

  • key中包含"{}",且“{}”中至少包含1个字符,“{}”中的部分是有效部分

  • key中不包含“{}”,整个key都是有效部分

        那么依据以上插槽原理,如果想要进行定点存储,也就是同一种类型数据存储到相同的节点上,那么我们就可以定义{}中的有效部分是相同的。

2.集群伸缩

Redis分片集群的伸缩是指动态增加或减少集群节点的能力,包括扩容缩容两种操作。

集群伸缩的核心机制就是哈希槽的重分配

  • Redis Cluster将数据划分为16384个哈希槽

  • 伸缩本质是重新分配这些槽位到不同节点

  • 槽位迁移是原子操作,保证数据一致性

3.故障转移

Redis分片集群的故障转移是其高可用性的核心保障,能够在节点故障时自动进行主从切换,确保服务持续可用。

3.1 自动故障转移

        自动故障转移就是其他的master检测不到宕机的master,确认其真的下线了,就会选取其slave为新的master,当宕机的实例恢复后会成为slave。

3.2 手动故障转移

        当我们想要实现数据迁移时,可以进行手动转移操作:
        利用cluster failover命令可以手动让集群中的某个master宕机,切换到执行cluster failover命令的这个slave节点,实现无感知的数据迁移。其流程如下:

这种failover命令可以指定三种模式:

  • 缺省:默认的流程,如图1~6歩

  • force:省略了对offset的一致性校验

  • takeover:直接执行第5歩,忽略数据一致性、忽略master状态和其它master的意见

4.Docker搭建Redis分片集群

Docker搭建Redis分片集群(内涵原理验证)https://blog.csdn.net/m0_74808313/article/details/149331126?spm=1011.2124.3001.6209

5.相关面试问题

5.1 redis分片集群有什么作用?

        redis分片集群是redis提供的一种高并发和高可用性的分布式方案,主要解决的是海量数据存储和高并发写的场景。

        首先,集群中有多个master,每个master之间通过心跳机制相互检测,类似于哨兵机制,可以进行自动故障转移,保障了服务的高可用性。

        其次,每个master还可以配置多个slave,提高了服务的高并发性。

        最后,客户端可以访问任意的节点,最后请求可以被转发到相应的节点访问。

5.2 redis分配集群中的数据是如何进行存储和读取的?

        redis分片集群中提出了哈希槽的概念,一共有16384个哈希槽,数据不是存储到节点上的,而是存储到哈希槽中,为节点分配一定范围的哈希槽。

        key通过CRC16校验,然后对16384取余来决定存储到哪个哈希槽中。

        读取也是相同的逻辑。

http://www.xdnf.cn/news/1120789.html

相关文章:

  • 《星盘接口4:银河守护者》
  • 小波变换 | Haar 小波变换
  • 浏览器自动化领域的MCP
  • 实战--Tlias教学管理系统(部门管理)
  • 纯CSS轮播
  • SAP ERP与微软ERP dynamics对比,两款云ERP产品有什么区别?
  • 【第零章编辑器开发与拓展】
  • 不用下载软件也能录屏?Windows 10 自带录屏功能详解
  • Postman、Apifox、Apipost用哪个? 每个的优缺点和综合比较(个人观点)
  • qt多线程的实战使用
  • 【记录】BLE|百度的旧蓝牙随身音箱手机能配对不能连接、电脑能连接不能使用的解决思路(Wireshark捕获并分析手机蓝牙报文)
  • Linux(Ubuntu)硬盘使用情况解析(已房子举例)
  • HTML面试题
  • 消费 Kafka 一个TOPIC数据,插入到另一个KAFKA的TOPIC
  • python学习2
  • ubuntu(22.04)系统上安装 MuJoCo
  • FRP Ubuntu 服务端 + MacOS 客户端配置
  • 微前端架构详解
  • 《C++初阶之STL》【泛型编程 + STL简介】
  • Nacos 技术研究文档(基于 Nacos 3)
  • 基于R语言的极值统计学及其在相关领域中的实践技术应用
  • 迅为八核高算力RK3576开发板摄像头实时推理测试 ppyoloe目标检测
  • 《亿级流量系统架构设计与实战》通用高并发架构设计 读场景
  • 文心4.5开源之路:引领技术开放新时代!
  • Go从入门到精通(22) - 一个简单web项目-统一日志输出
  • 如何单独安装设置包域名
  • LeetCode--45.跳跃游戏 II
  • 雷卯针对灵眸科技RV1106G3开发板防雷防静电方案
  • AI数字人正成为医药行业“全场景智能角色”,魔珐科技出席第24届全国医药工业信息年会
  • 2024年中国公交网络数据集(Shp/分城市)