Redis进阶学习06--分布式缓存--上

2022-05-09 14:18:35 浏览数 (1)

Redis进阶学习06--分布式缓存--上

  • 分布式缓存
    • 单机Redis缺陷
    • RDB数据持久化
      • 执行时机
      • RDB原理
        • 小结
    • AOF持久化
      • AOF原理
      • AOF配置
      • AOF文件重写
    • RDB与AOF对比
    • Redis主从
      • 搭建主从架构
      • 准备实例和配置
      • 启动
    • 开启主从关系
    • 测试
    • 主从同步原理
      • 全量同步
      • 增量同步
        • repl_backlog原理
      • 主从同步优化
      • 小结
    • Redis哨兵
      • 哨兵原理
        • 集群结构和作用
        • 集群监控原理
        • 集群故障恢复原理
        • 小结
      • 搭建哨兵集群
        • 集群结构
        • 准备实例和配置
          • 启动
          • 测试
        • Docker方式搭建哨兵集群
        • docker-compose方式搭建哨兵集群---推荐
        • 搭建过程中可能遇到的问题
      • 应用程序如何连接redis集
        • Java客户端连接集群
          • 引入依赖
          • 配置Redis地址
          • 配置读写分离

分布式缓存

单机Redis缺陷

RDB数据持久化

RDB全称Redis Database Backup file（Redis数据备份文件），也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后，从磁盘读取快照文件，恢复数据。快照文件称为RDB文件，默认是保存在当前运行目录。

执行时机

RDB持久化在四种情况下会执行：

  • 执行save命令
  • 执行bgsave命令
  • Redis停机时
  • 触发RDB条件时

1）save命令

执行下面的命令，可以立即执行一次RDB：

save命令会导致主进程执行RDB，这个过程中其它所有命令都会被阻塞。只有在数据迁移时可能用到。

2）bgsave命令

下面的命令可以异步执行RDB：

这个命令执行后会开启独立进程完成RDB，主进程可以持续处理用户请求，不受影响。

3）停机时

Redis停机时会执行一次save命令，实现RDB持久化。

4）触发RDB条件

Redis内部有触发RDB的机制，可以在redis.conf文件中找到，格式如下：

代码语言：javascript复制
# 900秒内，如果至少有1个key被修改，则执行bgsave ， 如果是save "" 则表示禁用RDB
save 900 1  
save 300 10  
save 60 10000

RDB的其它配置也可以在redis.conf文件中设置：

代码语言：javascript复制
# 是否压缩 ,建议不开启，压缩也会消耗cpu，磁盘的话不值钱
rdbcompression yes

# RDB文件名称
dbfilename dump.rdb  

# 文件保存的路径目录
dir ./

RDB原理

Linux的进程无法直接操作物理内存，而是操作的虚拟内存，实际是通过页表完成虚拟内存到物理内存的映射。

bgsave开始时会fork主进程得到子进程，子进程共享主进程的内存数据。完成fork后读取内存数据并写入 RDB 文件。

fork采用的是copy-on-write技术：

  • 当主进程执行读操作时，访问共享内存；
  • 当主进程执行写操作时，则会拷贝一份数据，执行写操作。
小结

RDB方式bgsave的基本流程？

  • fork主进程得到一个子进程，共享内存空间
  • 子进程读取内存数据并写入新的RDB文件
  • 用新RDB文件替换旧的RDB文件

RDB会在什么时候执行？save 60 1000代表什么含义？

  • 默认是服务停止时
  • 代表60秒内至少执行1000次修改则触发RDB

RDB的缺点？

  • RDB执行间隔时间长，两次RDB之间写入数据有丢失的风险
  • fork子进程、压缩、写出RDB文件都比较耗时

AOF持久化

AOF原理

AOF全称为Append Only File（追加文件）。Redis处理的每一个写命令都会记录在AOF文件，可以看做是命令日志文件。

AOF配置

AOF默认是关闭的，需要修改redis.conf配置文件来开启AOF：

代码语言：javascript复制
# 是否开启AOF功能，默认是no
appendonly yes
# AOF文件的名称
appendfilename "appendonly.aof"

AOF的命令记录的频率也可以通过redis.conf文件来配：

代码语言：javascript复制
# 表示每执行一次写命令，立即记录到AOF文件
appendfsync always 
# 写命令执行完先放入AOF缓冲区，然后表示每隔1秒将缓冲区数据写到AOF文件，是默认方案
appendfsync everysec 
# 写命令执行完先放入AOF缓冲区，由操作系统决定何时将缓冲区内容写回磁盘
appendfsync no

三种策略对比：

AOF文件重写

因为是记录命令，AOF文件会比RDB文件大的多。而且AOF会记录对同一个key的多次写操作，但只有最后一次写操作才有意义。通过执行bgrewriteaof命令，可以让AOF文件执行重写功能，用最少的命令达到相同效果。

如图，AOF原本有三个命令，但是set num 123 和 set num 666都是对num的操作，第二次会覆盖第一次的值，因此第一个命令记录下来没有意义。

所以重写命令后，AOF文件内容就是：mset name jack num 666

Redis也会在触发阈值时自动去重写AOF文件。阈值也可以在redis.conf中配置：

代码语言：javascript复制
# AOF文件比上次文件 增长超过多少百分比则触发重写
auto-aof-rewrite-percentage 100
# AOF文件体积最小多大以上才触发重写 
auto-aof-rewrite-min-size 64mb

RDB与AOF对比

RDB和AOF各有自己的优缺点，如果对数据安全性要求较高，在实际开发中往往会结合两者来使用。

Redis主从

搭建主从架构

单节点Redis的并发能力是有上限的，要进一步提高Redis的并发能力，就需要搭建主从集群，实现读写分离。

具体搭建流程如下:

该Redis集群共包含三个节点，一个主节点，两个从节点。

IP

PORT

角色

自己的服务器ip地址

7001

master

自己的服务器ip地址

7002

slave

自己的服务器ip地址

7003

slave

准备实例和配置

要在同一台虚拟机开启3个实例，必须准备三份不同的配置文件和目录，配置文件所在目录也就是工作目录。

1）创建目录

我们创建三个文件夹，名字分别叫7001、7002、7003：

代码语言：javascript复制
# 进入/tmp目录
cd /tmp
# 创建目录
mkdir 7001 7002 7003

如图：

2）恢复原始配置

修改redis-6.2.4/redis.conf文件，将其中的持久化模式改为默认的RDB模式，AOF保持关闭状态。

代码语言：javascript复制
# 开启RDB
# save ""
save 3600 1
save 300 100
save 60 10000

# 关闭AOF
appendonly no

3）拷贝配置文件到每个实例目录

然后将redis-6.2.4/redis.conf文件拷贝到三个目录中（在/tmp目录执行下列命令）：

代码语言：javascript复制
# 方式一：逐个拷贝
cp redis-6.2.4/redis.conf 7001
cp redis-6.2.4/redis.conf 7002
cp redis-6.2.4/redis.conf 7003

# 方式二：管道组合命令，一键拷贝
echo 7001 7002 7003 | xargs -t -n 1 cp redis-6.2.4/redis.conf

4）修改每个实例的端口、工作目录

修改每个文件夹内的配置文件，将端口分别修改为7001、7002、7003，将rdb文件保存位置都修改为自己所在目录（在/tmp目录执行下列命令）：

代码语言：javascript复制
sed -i -e 's/6379/7001/g' -e 's/dir .//dir /tmp/7001//g' 7001/redis.conf
sed -i -e 's/6379/7002/g' -e 's/dir .//dir /tmp/7002//g' 7002/redis.conf
sed -i -e 's/6379/7003/g' -e 's/dir .//dir /tmp/7003//g' 7003/redis.conf

5）修改每个实例的声明IP

虚拟机本身有多个IP，为了避免将来混乱，我们需要在redis.conf文件中指定每一个实例的绑定ip信息，格式如下：

代码语言：javascript复制
# redis实例的声明 IP
replica-announce-ip 192.168.150.101

每个目录都要改，我们一键完成修改（在/tmp目录执行下列命令）：

代码语言：javascript复制
# 逐一执行
sed -i '1a replica-announce-ip 192.168.150.101' 7001/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7002/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7003/redis.conf

# 或者一键修改
printf '%sn' 7001 7002 7003 | xargs -I{} -t sed -i '1a replica-announce-ip 192.168.150.101' {}/redis.conf

启动

为了方便查看日志，我们打开3个ssh窗口，分别启动3个redis实例，启动命令：

代码语言：javascript复制
# 第1个
redis-server 7001/redis.conf
# 第2个
redis-server 7002/redis.conf
# 第3个
redis-server 7003/redis.conf

启动后：

如果要一键停止，可以运行下面命令：

代码语言：javascript复制
printf '%sn' 7001 7002 7003 | xargs -I{} -t redis-cli -p {} shutdow

开启主从关系

现在三个实例还没有任何关系，要配置主从可以使用replicaof 或者slaveof（5.0以前）命令。

有临时和永久两种模式：

  • 修改配置文件（永久生效）
    • 在redis.conf中添加一行配置：slaveof <masterip> <masterport>
  • 使用redis-cli客户端连接到redis服务，执行slaveof命令（重启后失效）：
代码语言：javascript复制
  slaveof <masterip> <masterport>

如果主节点配置了密码，还需要在配置文件中指明主节点的密码:

代码语言：javascript复制
masterauth 123456

注意：在5.0以后新增命令replicaof，与salveof效果一致。

这里我们为了演示方便，使用方式二。

通过redis-cli命令连接7002，执行下面命令：

代码语言：javascript复制
# 连接 7002
redis-cli -p 7002
# 执行slaveof
slaveof 192.168.150.101 7001

通过redis-cli命令连接7003，执行下面命令：

代码语言：javascript复制
# 连接 7003
redis-cli -p 7003
# 执行slaveof
slaveof 192.168.150.101 7001

然后连接 7001节点，查看集群状态：

代码语言：javascript复制
# 连接 7001
redis-cli -p 7001
# 查看状态
info replication

结果：

测试

执行下列操作以测试：

  • 利用redis-cli连接7001，执行set num 123
  • 利用redis-cli连接7002，执行get num，再执行set num 666
  • 利用redis-cli连接7003，执行get num，再执行set num 888

可以发现，只有在7001这个master节点上可以执行写操作，7002和7003这两个slave节点只能执行读操作。

主从同步原理

全量同步

主从第一次建立连接时，会执行全量同步，将master节点的所有数据都拷贝给slave节点，流程：

这里有一个问题，master如何得知salve是第一次来连接呢？？

有几个概念，可以作为判断依据：

  • Replication Id：简称replid，是数据集的标记，id一致则说明是同一数据集。每一个master都有唯一的replid，slave则会继承master节点的replid
  • offset：偏移量，随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。如果slave的offset小于master的offset，说明slave数据落后于master，需要更新。

因此slave做数据同步，必须向master声明自己的replication id 和offset，master才可以判断到底需要同步哪些数据。

因为slave原本也是一个master，有自己的replid和offset，当第一次变成slave，与master建立连接时，发送的replid和offset是自己的replid和offset。

master判断发现slave发送来的replid与自己的不一致，说明这是一个全新的slave，就知道要做全量同步了。

master会将自己的replid和offset都发送给这个slave，slave保存这些信息。以后slave的replid就与master一致了。

因此，master判断一个节点是否是第一次同步的依据，就是看replid是否一致。

如图：

完整流程描述：

  • slave节点请求增量同步
  • master节点判断replid，发现不一致，拒绝增量同步
  • master将完整内存数据生成RDB，发送RDB到slave
  • slave清空本地数据，加载master的RDB
  • master将RDB期间的命令记录在repl_baklog，并持续将log中的命令发送给slave
  • slave执行接收到的命令，保持与master之间的同步

增量同步

全量同步需要先做RDB，然后将RDB文件通过网络传输个slave，成本太高了。因此除了第一次做全量同步，其它大多数时候slave与master都是做增量同步。

什么是增量同步？就是只更新slave与master存在差异的部分数据。如图：

那么master怎么知道slave与自己的数据差异在哪里呢?

repl_backlog原理

master怎么知道slave与自己的数据差异在哪里呢?

这就要说到全量同步时的repl_baklog文件了。

这个文件是一个固定大小的数组，只不过数组是环形，也就是说角标到达数组末尾后，会再次从0开始读写，这样数组头部的数据就会被覆盖。

repl_baklog中会记录Redis处理过的命令日志及offset，包括master当前的offset，和slave已经拷贝到的offset：

slave与master的offset之间的差异，就是salve需要增量拷贝的数据了。

随着不断有数据写入，master的offset逐渐变大，slave也不断的拷贝，追赶master的offset：

直到数组被填满：

此时，如果有新的数据写入，就会覆盖数组中的旧数据。不过，旧的数据只要是绿色的，说明是已经被同步到slave的数据，即便被覆盖了也没什么影响。因为未同步的仅仅是红色部分。

但是，如果slave出现网络阻塞，导致master的offset远远超过了slave的offset：

如果master继续写入新数据，其offset就会覆盖旧的数据，直到将slave现在的offset也覆盖：

棕色框中的红色部分，就是尚未同步，但是却已经被覆盖的数据。此时如果slave恢复，需要同步，却发现自己的offset都没有了，无法完成增量同步了。只能做全量同步。

主从同步优化

主从同步可以保证主从数据的一致性，非常重要。

可以从以下几个方面来优化Redis主从就集群：

  • 在master中配置repl-diskless-sync yes启用无磁盘复制，避免全量同步时的磁盘IO。

全量同步时，一开始开启一个异步线程，先将内存上的数据写入磁盘rdb文件，即先写入磁盘IO流，然后再将磁盘数据通过网络IO流发送出去，现在是直接跳过写入磁盘步骤，直接将数据通过网络IO流发送出去

  • Redis单节点上的内存占用不要太大，减少RDB导致的过多磁盘IO
  • 适当提高repl_baklog的大小，发现slave宕机时尽快实现故障恢复，尽可能避免全量同步
  • 限制一个master上的slave节点数量，如果实在是太多slave，则可以采用主-从-从链式结构，减少master压力

主从从架构图：

小结

简述全量同步和增量同步区别？

  • 全量同步：master将完整内存数据生成RDB，发送RDB到slave。后续命令则记录在repl_baklog，逐个发送给slave。
  • 增量同步：slave提交自己的offset到master，master获取repl_baklog中从offset之后的命令给slave

什么时候执行全量同步？

  • slave节点第一次连接master节点时
  • slave节点断开时间太久，repl_baklog中的offset已经被覆盖时

什么时候执行增量同步？

  • slave节点断开又恢复，并且在repl_baklog中能找到offset时

Redis哨兵

Redis提供了哨兵（Sentinel）机制来实现主从集群的自动故障恢复。

哨兵原理

集群结构和作用

哨兵的结构如图：

哨兵的作用如下：

  • 监控：Sentinel 会不断检查您的master和slave是否按预期工作
  • 自动故障恢复：如果master故障，Sentinel会将一个slave提升为master。当故障实例恢复后也以新的master为主
  • 通知：Sentinel充当Redis客户端的服务发现来源，当集群发生故障转移时，会将最新信息推送给Redis的客户端
集群监控原理

Sentinel基于心跳机制监测服务状态，每隔1秒向集群的每个实例发送ping命令：

•主观下线：如果某sentinel节点发现某实例未在规定时间响应，则认为该实例主观下线。

•客观下线：若超过指定数量（quorum）的sentinel都认为该实例主观下线，则该实例客观下线。quorum值最好超过Sentinel实例数量的一半。

集群故障恢复原理

一旦发现master故障，sentinel需要在salve中选择一个作为新的master，选择依据是这样的：

  • 首先会判断slave节点与master节点断开时间长短，如果超过指定值（down-after-milliseconds * 10）则会排除该slave节点
  • 然后判断slave节点的slave-priority值，越小优先级越高，如果是0则永不参与选举
  • 如果slave-prority一样，则判断slave节点的offset值，越大说明数据越新，优先级越高
  • 最后是判断slave节点的运行id大小，越小优先级越高。

当选出一个新的master后，该如何实现切换呢？

流程如下：

  • sentinel给备选的slave1节点发送slaveof no one命令，让该节点成为master
  • sentinel给所有其它slave发送slaveof 192.168.150.101 7002 命令，让这些slave成为新master的从节点，开始从新的master上同步数据。
  • 最后，sentinel将故障节点标记为slave(修改其配置文件–>slaveof 192.168.150.101 7002)，当故障节点恢复后会自动成为新的master的slave节点
小结

Sentinel实际上是一个特殊的redis服务器,有些redis指令支持,但很多指令并不支持.默认监听在 26379/tcp端口.

哨兵可以不和Redis服务器部署在一起，但一般部署在一起以节约成本

Sentinel的三个作用是什么？

  • 监控
  • 故障转移
  • 通知

Sentinel如何判断一个redis实例是否健康？

  • 每隔1秒发送一次ping命令，如果超过一定时间没有相向则认为是主观下线
  • 如果大多数sentinel都认为实例主观下线，则判定服务下线

故障转移步骤有哪些？

  • 首先选定一个slave作为新的master，执行slaveof no one
  • 然后让所有节点都执行slaveof 新master
  • 修改故障节点配置，添加slaveof 新master

搭建哨兵集群

集群结构

这里我们搭建一个三节点形成的Sentinel集群，来监管之前的Redis主从集群。如图：

三个sentinel实例信息如下：

节点

IP

PORT

s1

192.168.150.101

27001

s2

192.168.150.101

27002

s3

192.168.150.101

27003

准备实例和配置

要在同一台虚拟机开启3个实例，必须准备三份不同的配置文件和目录，配置文件所在目录也就是工作目录。

我们创建三个文件夹，名字分别叫s1、s2、s3：

代码语言：javascript复制
# 进入/tmp目录
cd /tmp
# 创建目录
mkdir s1 s2 s3

如图：

然后我们在s1目录创建一个sentinel.conf文件，添加下面的内容：

代码语言：javascript复制
port 27001
sentinel announce-ip 192.168.150.101
# mymaster是集群的名称，此行指定当前mymaster集群中master服务器的地址和端口 
# 2为法定人数限制(quorum)，即有几个sentinel认为master down了就进行故障转移，一般此值是所有 sentinel节点(一般总数是>=3的 奇数,如:3,5,7等)
# 的一半以上的整数值，比如，总数是3，即3/2=1.5， 取整为2,是master的ODOWN客观下线的依据
sentinel monitor mymaster 192.168.150.101 7001 2
#设置连接master和slave时的密码，注意的是sentinel不能分别为master和slave设置不同的密码，因此master和slave的密码应该设置相同。
sentinel auth-pass mymaster 123456 
#这个配置项指定了需要多少失效时间，一个master才会被这个sentinel主观地认为是不可用的。 单位是毫秒，默认为30秒
sentinel down-after-milliseconds mymaster 5000
#当进行failover时，配置所有slaves指向新的master所需的最大时间。不过，即使过了这个超时，slaves依然会被正确配置为指向master，但是就不按parallel-syncs所配置的规则来了。
sentinel failover-timeout mymaster 60000
# 发生故障转移后，可以同时向新master同步数据的slave的数量，数字越小总同步时间越长，但可以减轻新 master的负载压力
sentinel parallel-syncs mymaster 1 
dir "/tmp/s1"

Sentinel配置项详细可以参考这里 解读：

  • port 27001：是当前sentinel实例的端口
  • sentinel monitor mymaster 192.168.150.101 7001 2：指定主节点信息
    • mymaster：主节点名称，自定义，任意写
    • 192.168.150.101 7001：主节点的ip和端口
    • 2：选举master时的quorum值，主观下线到客观下线的一个阈值

然后将s1/sentinel.conf文件拷贝到s2、s3两个目录中（在/tmp目录执行下列命令）：

代码语言：javascript复制
# 方式一：逐个拷贝
cp s1/sentinel.conf s2
cp s1/sentinel.conf s3
# 方式二：管道组合命令，一键拷贝
echo s2 s3 | xargs -t -n 1 cp s1/sentinel.conf

修改s2、s3两个文件夹内的配置文件，将端口分别修改为27002、27003：

代码语言：javascript复制
sed -i -e 's/27001/27002/g' -e 's/s1/s2/g' s2/sentinel.conf
sed -i -e 's/27001/27003/g' -e 's/s1/s3/g' s3/sentinel.conf
启动

为了方便查看日志，我们打开3个ssh窗口，分别启动3个redis实例，启动命令：

代码语言：javascript复制
# 第1个
redis-sentinel s1/sentinel.conf
# 第2个
redis-sentinel s2/sentinel.conf
# 第3个
redis-sentinel s3/sentinel.conf

启动后：

测试

尝试让master节点7001宕机，查看sentinel日志：

查看7003的日志：

查看7002的日志：

Docker方式搭建哨兵集群

配置文件准备:

代码语言：javascript复制
# 如果是编译安装，在源码目录有sentinel.conf，复制到安装目录即可， 
# 如:/apps/redis/etc/sentinel.conf

cat /apps/redis/conf/redis-sentinel.conf 
bind 0.0.0.0
port 26379
daemonize yes
pidfile "redis-sentinel.pid" 
dir "/tmp" # 工作目录

sentinel monitor mymaster 172.18.8.17 6379 2 
# mymaster是集群的名称，此行指定当前mymaster集群中master服务器的地址和端口 
# 2为法定人数限制(quorum)，即有几个sentinel认为master down了就进行故障转移，一般此值是所有 sentinel节点(一般总数是>=3的 奇数,如:3,5,7等)
# 的一半以上的整数值，比如，总数是3，即3/2=1.5， 取整为2,是master的ODOWN客观下线的依据

sentinel auth-pass mymaster 123456 
# mymaster集群中master的密码，注意此行要在上面行的下面

sentinel down-after-milliseconds mymaster 30000 
# (SDOWN)判断mymaster集群中所有节点的主观下线的时间，单位:毫秒，建议3000

sentinel parallel-syncs mymaster 1 
# 发生故障转移后，可以同时向新master同步数据的slave的数量，数字越小总同步时间越长，但可以减轻新 master的负载压力

sentinel failover-timeout mymaster 180000 
# 所有slaves指向新的master所需的超时时间，单位:毫秒

sentinel deny-scripts-reconfig yes # 禁止修改脚本

logfile /var/log/redis/sentinel.log

三个哨兵服务器的配置都如下

代码语言：javascript复制
[root@client ~]# cat /apps/redis/conf/redis-sentinel.conf
bind 0.0.0.0
port 26379
daemonize no
pidfile "/var/run/redis-sentinel.pid"
logfile "/var/log/sentinel_26379.log"
dir "/tmp"
sentinel monitor mymaster 172.18.8.17 6379 2       #修改此行
sentinel auth-pass mymaster 123456                 #增加此行
sentinel down-after-milliseconds mymaster 30000    #修改此行
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000
sentinel deny-scripts-reconfig yes
[root@client ~]#


# 以下内容自动生成，不需要修改
sentinel myid bc719e80d29a4c3c1be4c33ec825cf7827aed92b 
# 此行自动生成必须唯一,修改此值需重启redis和sentinel服务
.....
# Generated by CONFIG REWRITE
protected-mode no
supervised systemd
sentinel leader-epoch mymaster 0
sentinel known-replica mymaster 172.18.8.27 6379 
sentinel known-replica mymaster 172.18.8.37 6379 
sentinel current-epoch 0


[root@redis-master ~]#scp /apps/redis/conf/redis-sentinel.conf redis-slave-1:/apps/redis/conf/
[root@redis-master ~]#scp /apps/redis/conf/redis-sentinel.conf redis-slave-2:/apps/redis/conf/

启动哨兵

三台哨兵服务器都要启动

代码语言：javascript复制
docker run 
--privileged 
--name redis-sentinel 
-p 26379:26379 
-v /apps/redis/conf/redis-sentinel.conf:/etc/redis/redis-sentinel.conf 
--net host 
-d redis:5.0 
redis-sentinel /etc/redis/redis-sentinel.conf

确保每个哨兵主机myid不同

代码语言：javascript复制
# Master
[root@client ~]# docker exec -it redis-sentinel /bin/bash -c "cat /etc/redis/redis-sentinel.conf"
bind 0.0.0.0
port 26379
daemonize no
pidfile "/var/run/redis-sentinel.pid"
logfile "/var/log/sentinel_26379.log"
dir "/tmp"
sentinel myid bc719e80d29a4c3c1be4c33ec825cf7827aed92b
sentinel deny-scripts-reconfig yes
sentinel monitor mymaster 172.18.8.17 6379 2
sentinel auth-pass mymaster 123456
sentinel config-epoch mymaster 0
sentinel leader-epoch mymaster 0
# Generated by CONFIG REWRITE
sentinel known-replica mymaster 172.18.8.27 6379
sentinel known-replica mymaster 172.18.8.37 6379
sentinel current-epoch 0
[root@client ~]#

# Slave-1
[root@redis-slave-1 ~]# docker exec -it redis-sentinel /bin/bash -c "cat /etc/redis/redis-sentinel.conf"
bind 0.0.0.0
port 26379
daemonize no
pidfile "/var/run/redis-sentinel.pid"
logfile "/var/log/sentinel_26379.log"
dir "/tmp"
sentinel myid fdd64a65231a156179e0b8518015ec65c0d0f771
sentinel deny-scripts-reconfig yes
sentinel monitor mymaster 172.18.8.17 6379 2
sentinel auth-pass mymaster 123456
sentinel config-epoch mymaster 0
sentinel leader-epoch mymaster 0
# Generated by CONFIG REWRITE
sentinel known-replica mymaster 172.18.8.37 6379
sentinel known-replica mymaster 172.18.8.27 6379
sentinel known-sentinel mymaster 172.18.8.37 26379 0587279615db5680b6606d4d18952fad96a3fbe7
sentinel known-sentinel mymaster 172.18.8.17 26379 bc719e80d29a4c3c1be4c33ec825cf7827aed92b
sentinel current-epoch 0
[root@redis-slave-1 ~]#

# Slave-2
[root@redis-slave-2 ~]# docker exec -it redis-sentinel /bin/bash -c "cat /etc/redis/redis-sentinel.conf"
bind 0.0.0.0
port 26379
daemonize no
pidfile "/var/run/redis-sentinel.pid"
logfile "/var/log/sentinel_26379.log"
dir "/tmp"
sentinel myid 0587279615db5680b6606d4d18952fad96a3fbe7
sentinel deny-scripts-reconfig yes
sentinel monitor mymaster 172.18.8.17 6379 2
sentinel auth-pass mymaster 123456
sentinel config-epoch mymaster 0
sentinel leader-epoch mymaster 0
# Generated by CONFIG REWRITE
sentinel known-replica mymaster 172.18.8.37 6379
sentinel known-replica mymaster 172.18.8.27 6379
sentinel known-sentinel mymaster 172.18.8.17 26379 bc719e80d29a4c3c1be4c33ec825cf7827aed92b
sentinel known-sentinel mymaster 172.18.8.27 26379 fdd64a65231a156179e0b8518015ec65c0d0f771
sentinel current-epoch 0
[root@redis-slave-2 ~]#

查看哨兵日志

master的哨兵日志

代码语言：javascript复制
[root@client ~]# docker exec -it redis-sentinel /bin/bash -c "tail -f /var/log/sentinel_26379.log"
1:X 06 Jul 2021 11:06:30.345 # Redis version=5.0.12, bits=64, commit=00000000, modified=0, pid=1, just started
1:X 06 Jul 2021 11:06:30.345 # Configuration loaded
1:X 06 Jul 2021 11:06:30.348 * Running mode=sentinel, port=26379.
1:X 06 Jul 2021 11:06:30.348 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
1:X 06 Jul 2021 11:06:30.351 # Sentinel ID is bc719e80d29a4c3c1be4c33ec825cf7827aed92b
1:X 06 Jul 2021 11:06:30.351 #  monitor master mymaster 172.18.8.17 6379 quorum 2
1:X 06 Jul 2021 11:06:30.352 *  slave slave 172.18.8.37:6379 172.18.8.37 6379 @ mymaster 172.18.8.17 6379
1:X 06 Jul 2021 11:06:30.353 *  slave slave 172.18.8.27:6379 172.18.8.27 6379 @ mymaster 172.18.8.17 6379
1:X 06 Jul 2021 11:59:02.363 *  sentinel sentinel fdd64a65231a156179e0b8518015ec65c0d0f771 172.18.8.27 26379 @ mymaster 172.18.8.17 6379
1:X 06 Jul 2021 11:59:05.818 *  sentinel sentinel 0587279615db5680b6606d4d18952fad96a3fbe7 172.18.8.37 26379 @ mymaster 172.18.8.17 6379

slave的哨兵日志

代码语言：javascript复制
# Slave-1
[root@redis-slave-1 ~]# docker exec -it redis-sentinel /bin/bash -c "tail -f /var/log/sentinel_26379.log"
1:X 06 Jul 2021 11:59:00.331 # Redis version=5.0.12, bits=64, commit=00000000, modified=0, pid=1, just started
1:X 06 Jul 2021 11:59:00.331 # Configuration loaded
1:X 06 Jul 2021 11:59:00.335 * Running mode=sentinel, port=26379.
1:X 06 Jul 2021 11:59:00.335 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
1:X 06 Jul 2021 11:59:00.337 # Sentinel ID is fdd64a65231a156179e0b8518015ec65c0d0f771
1:X 06 Jul 2021 11:59:00.337 #  monitor master mymaster 172.18.8.17 6379 quorum 2
1:X 06 Jul 2021 11:59:00.339 *  slave slave 172.18.8.37:6379 172.18.8.37 6379 @ mymaster 172.18.8.17 6379
1:X 06 Jul 2021 11:59:00.340 *  slave slave 172.18.8.27:6379 172.18.8.27 6379 @ mymaster 172.18.8.17 6379
1:X 06 Jul 2021 11:59:00.527 *  sentinel sentinel bc719e80d29a4c3c1be4c33ec825cf7827aed92b 172.18.8.17 26379 @ mymaster 172.18.8.17 6379
1:X 06 Jul 2021 11:59:05.820 *  sentinel sentinel 0587279615db5680b6606d4d18952fad96a3fbe7 172.18.8.37 26379 @ mymaster 172.18.8.17 6379

# Slave-2
[root@redis-slave-2 ~]# docker exec -it redis-sentinel /bin/bash -c "tail -f /var/log/sentinel_26379.log"
1:X 06 Jul 2021 11:59:03.795 # Redis version=5.0.12, bits=64, commit=00000000, modified=0, pid=1, just started
1:X 06 Jul 2021 11:59:03.795 # Configuration loaded
1:X 06 Jul 2021 11:59:03.799 * Running mode=sentinel, port=26379.
1:X 06 Jul 2021 11:59:03.799 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
1:X 06 Jul 2021 11:59:03.801 # Sentinel ID is 0587279615db5680b6606d4d18952fad96a3fbe7
1:X 06 Jul 2021 11:59:03.801 #  monitor master mymaster 172.18.8.17 6379 quorum 2
1:X 06 Jul 2021 11:59:03.803 *  slave slave 172.18.8.37:6379 172.18.8.37 6379 @ mymaster 172.18.8.17 6379
1:X 06 Jul 2021 11:59:03.804 *  slave slave 172.18.8.27:6379 172.18.8.27 6379 @ mymaster 172.18.8.17 6379
1:X 06 Jul 2021 11:59:04.420 *  sentinel sentinel fdd64a65231a156179e0b8518015ec65c0d0f771 172.18.8.27 26379 @ mymaster 172.18.8.17 6379
1:X 06 Jul 2021 11:59:04.589 *  sentinel sentinel bc719e80d29a4c3c1be4c33ec825cf7827aed92b 172.18.8.17 26379 @ mymaster 172.18.8.17 6379

当前sentinel状态

在 sentinel 状态中尤其是最后一行，涉及到 masterIP 是多少，有几个 slave ，有几个 sentinels ，必须是符合全部服务器数量

代码语言：javascript复制
[root@redis-master ~]# docker exec -it redis-sentinel /bin/bash
root@client:/data# redis-cli -p 26379
127.0.0.1:26379> info sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=172.18.8.17:6379,slaves=2,sentinels=3
127.0.0.1:26379>
# 两个 slave，三个 sentinel 服务器,如果 sentinels 值不符合,检查 myid 可能冲突

# 不进入容器，查看
[root@redis-master ~]# docker exec -it redis-sentinel /bin/bash -c "redis-cli -p 26379 info sentinel"
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=172.18.8.17:6379,slaves=2,sentinels=3
[root@redis-master ~]#

停止 Redis Master 节点测试故障转移

查看 Redis Master 的信息

代码语言：javascript复制
[root@redis-master ~]# docker exec -it redis-node /bin/bash -c "redis-cli -a 123456 info replication"
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master
connected_slaves:2
slave0:ip=172.18.8.27,port=6379,state=online,offset=5737464,lag=0
slave1:ip=172.18.8.37,port=6379,state=online,offset=5737450,lag=0
master_replid:f355a23a3bc38fb44b5e87943716a2dbf17e0e5b
master_replid2:cf9ebd2f3a9928a4cafd4580094a1809361ea5f1
master_repl_offset:5737464
second_repl_offset:5670124
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:4688889
repl_backlog_histlen:1048576
[root@redis-master ~]#

停止 Redis Master 节点

代码语言：javascript复制
[root@redis-master ~]# docker stop redis-node
redis-node
[root@redis-master ~]#

查看各节点上哨兵信息

代码语言：javascript复制
[root@redis-slave-1 ~]# docker exec -it redis-sentinel /bin/bash -c "redis-cli -p 26379 info sentinel"
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=172.18.8.27:6379,slaves=2,sentinels=3

[root@redis-slave-2 ~]# docker exec -it redis-sentinel /bin/bash -c "redis-cli -p 26379 info sentinel"
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=172.18.8.27:6379,slaves=2,sentinels=3
[root@redis-slave-2 ~]#

查看主从信息

代码语言：javascript复制
# Slave-1
[root@redis-slave-1 ~]# docker exec -it redis-node /bin/bash -c "redis-cli -a 123456 info replication"
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master
connected_slaves:1
slave0:ip=172.18.8.37,port=6379,state=online,offset=5793062,lag=1
master_replid:c30d447d0f70aaaef81242a4162bfc5582550ebb
master_replid2:f355a23a3bc38fb44b5e87943716a2dbf17e0e5b
master_repl_offset:5793062
second_repl_offset:5779667
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:4744487
repl_backlog_histlen:1048576
[root@redis-slave-1 ~]#

# Slave-2
[root@redis-slave-2 ~]# docker exec -it redis-node /bin/bash -c "redis-cli -a 123456 info replication"
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:slave
master_host:172.18.8.27
master_port:6379
master_link_status:up
master_last_io_seconds_ago:2
master_sync_in_progress:0
slave_repl_offset:5836100
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:c30d447d0f70aaaef81242a4162bfc5582550ebb
master_replid2:f355a23a3bc38fb44b5e87943716a2dbf17e0e5b
master_repl_offset:5836100
second_repl_offset:5779667
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:5670124
repl_backlog_histlen:165977
[root@redis-slave-2 ~]#

故障转移时sentinel的信息

代码语言：javascript复制
[root@redis-master ~]# docker exec -it redis-sentinel /bin/bash -c "tail -f /var/log/sentinel_26379.log"
1:X 07 Jul 2021 09:17:54.455 #  sdown slave 172.18.8.37:6379 172.18.8.37 6379 @ mymaster 172.18.8.17 6379
1:X 07 Jul 2021 09:18:05.093 # -sdown slave 172.18.8.37:6379 172.18.8.37 6379 @ mymaster 172.18.8.17 6379
1:X 07 Jul 2021 09:26:52.101 #  sdown master mymaster 172.18.8.17 6379
1:X 07 Jul 2021 09:26:52.163 #  new-epoch 3
1:X 07 Jul 2021 09:26:52.164 #  vote-for-leader 1fa399c7ed5b655e744470d93a45c95f6e65b45f 3
1:X 07 Jul 2021 09:26:52.831 #  config-update-from sentinel 1fa399c7ed5b655e744470d93a45c95f6e65b45f 172.18.8.27 26379 @ mymaster 172.18.8.17 6379
1:X 07 Jul 2021 09:26:52.831 #  switch-master mymaster 172.18.8.17 6379 172.18.8.27 6379
1:X 07 Jul 2021 09:26:52.831 *  slave slave 172.18.8.37:6379 172.18.8.37 6379 @ mymaster 172.18.8.27 6379
1:X 07 Jul 2021 09:26:52.831 *  slave slave 172.18.8.17:6379 172.18.8.17 6379 @ mymaster 172.18.8.27 6379
1:X 07 Jul 2021 09:27:22.912 #  sdown slave 172.18.8.17:6379 172.18.8.17 6379 @ mymaster 172.18.8.27 6379

故障转移后的redis配置文件会被自动修改

故障转移后 redis.conf 中的 replicaof 行的 master IP 会被修改

提升为主的机器则会删除 replicaof 这一行

代码语言：javascript复制
[root@redis-slave-2 ~]# grep replicaof /apps/redis/conf/redis.conf
replicaof 172.18.8.27 6379
[root@redis-slave-2 ~]#

将原来的 Master 启动恢复重新加入 redis 集群，会成为新 Master 的 Slave，而不会替换现在的 Master

代码语言：javascript复制
[root@redis-master ~]# docker start redis-node
redis-node
[root@redis-master ~]# grep replicaof /apps/redis/conf/redis.conf
replicaof 172.18.8.27 6379      # sentinel会自动添加此行并 指向新的 master

# 在原 master上观察状态
[root@redis-master ~]# docker exec -it redis-node /bin/bash -c "redis-cli -a 123456 info replication"
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:slave
master_host:172.18.8.27
master_port:6379
master_link_status:up
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:5931311
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:c30d447d0f70aaaef81242a4162bfc5582550ebb
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:5931311
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:5917354
repl_backlog_histlen:13958
[root@redis-master ~]#

哨兵配置文件的sentinel monitor IP 同样也会被修改

代码语言：javascript复制
# 原 Master 机器
[root@redis-master ~]# grep monitor /apps/redis/conf/redis-sentinel.conf
sentinel monitor mymaster 172.18.8.27 6379 2   # 自动修改此行
[root@redis-master ~]#

# 原 Slave-1 机器
[root@redis-slave-1 ~]# grep monitor /apps/redis/conf/redis-sentinel.conf
sentinel monitor mymaster 172.18.8.27 6379 2   # 自动修改此行
[root@redis-slave-1 ~]#

# 原 Slave-2 机器
[root@redis-slave-2 ~]# grep monitor /apps/redis/conf/redis-sentinel.conf
sentinel monitor mymaster 172.18.8.27 6379 2    # 自动修改此行
[root@redis-slave-2 ~]#

当前 redis 状态–新 master 状态

代码语言：javascript复制
[root@redis-slave-1 ~]# docker exec -it redis-node /bin/bash -c "redis-cli -a 123456 info replication"
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master         # 提升为master
connected_slaves:2
slave0:ip=172.18.8.37,port=6379,state=online,offset=7168881,lag=0
slave1:ip=172.18.8.17,port=6379,state=online,offset=7169155,lag=0
master_replid:c30d447d0f70aaaef81242a4162bfc5582550ebb
master_replid2:f355a23a3bc38fb44b5e87943716a2dbf17e0e5b
master_repl_offset:7169155
second_repl_offset:5779667
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:6120580
repl_backlog_histlen:1048576
[root@redis-slave-1 ~]#

sentinel 运维—手动让主节点下线

代码语言：javascript复制
sentinel failover <masterName>

示例：手动故障转移

代码语言：javascript复制
[root@centos8 ~]#vim /etc/redis.conf
replica-priority 10 # 指定优先级,值越小sentinel会优先将之选为新的master,默为值为100

[root@centos8 ~]#redis-cli -p 26379
127.0.0.1:26379> sentinel failover mymaster
OK
docker-compose方式搭建哨兵集群—推荐
代码语言：javascript复制
version: "3.3"
services:
       master: 
          image: "${REDIS_VERSION}"
          container_name: master
          ports:
                 - "6380:6380"
          command: redis-server /etc/redis/redis.conf
          volumes:
                 - "/dhy/redis/docker/redis-5.0.5/conf/redis.conf:/etc/redis/redis.conf"
                 - "/dhy/redis/docker/redis-5.0.5/data:/data"
       salve1:
          image: "${REDIS_VERSION}"
          container_name: salve1
          ports: 
                 - "6381:6381"
          command: redis-server /etc/redis/redis.conf
          volumes:
                 - "/dhy/redis/docker/slave1/conf/redis.conf:/etc/redis/redis.conf"
                 - "/dhy/redis/docker/slave1/data:/data"
       salve2:
          image: "${REDIS_VERSION}"
          container_name: salve2
          ports:
                 - "6382:6382"
          command: redis-server /etc/redis/redis.conf
          volumes:
                 - "/dhy/redis/docker/slave2/conf/redis.conf:/etc/redis/redis.conf"
                 - "/dhy/redis/docker/slave2/data:/data"          
       sen1:
          image: "${REDIS_VERSION}"
          container_name: sen1
          ports:
             - "27001:27001"
          command: redis-sentinel  /etc/sentinel.conf
          depends_on: 
             - master
             - salve1
             - salve2  
          volumes: 
             - "/dhy/redis/docker/sen1/sentinel.conf:/etc/sentinel.conf"
       sen2:
          image: "${REDIS_VERSION}"
          container_name: sen2
          ports:
            - "27002:27002"
          command: redis-sentinel  /etc/sentinel.conf
          depends_on: 
            - master
            - salve1
            - salve2
          volumes:
            - "/dhy/redis/docker/sen2/sentinel.conf:/etc/sentinel.conf"
       sen3:
          image: "${REDIS_VERSION}"
          container_name: sen3
          ports:
            - "27003:27003"
          command: redis-sentinel  /etc/sentinel.conf
          depends_on:
            - master
            - salve1
            - salve2             
          volumes:
            - "/dhy/redis/docker/sen3/sentinel.conf:/etc/sentinel.conf"

在当前compose.yml目录下，准备一个.env文件，里面放上REDIS-VERSION的信息

搭建过程中可能遇到的问题
  • 多个哨兵间，存在myid重复，导致启动报错
  • 服务器端口没开放，导致对应的节点连接不了
  • redis设置了密码，从服务器配置里面需要指定主服务器redis连接密码
  • 哨兵也需要配置主节点和从节点的密码，但是这里主从节点密码一致
  • redis.conf中的端口号，要和我们在docker中给其的端口号一致

应用程序如何连接redis集群

  • 选举出一个 sentinel
  • 由这个 sentinel 通过 masterName 获取 master 节点信息
  • sentinel 发送 role 指令确认 mater 的信息
  • 客户端订阅 sentinel 的相关频道,获取新的 master 信息变化,并自动连接新的 master
Java客户端连接集群

在Sentinel集群监管下的Redis主从集群，其节点会因为自动故障转移而发生变化，Redis的客户端必须感知这种变化，及时更新连接信息。Spring的RedisTemplate底层利用lettuce实现了节点的感知和自动切换。

下面，我们通过一个测试来实现RedisTemplate集成哨兵机制。

引入依赖

在项目的pom文件中引入依赖：

代码语言：javascript复制
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
        </dependency>
配置Redis地址

然后在配置文件application.yml中指定redis的sentinel相关信息：

代码语言：javascript复制
spring:
  redis:
    sentinel:
      master: mymaster
      nodes:
        - 192.168.150.101:27001
        - 192.168.150.101:27002
        - 192.168.150.101:27003
      #哨兵密码  
      password: xxx  
    #主从redis密码
    password: xxx
配置读写分离

在项目的启动类中，添加一个新的bean：

代码语言：javascript复制
@Bean
public LettuceClientConfigurationBuilderCustomizer clientConfigurationBuilderCustomizer(){
    return clientConfigurationBuilder -> clientConfigurationBuilder.readFrom(ReadFrom.REPLICA_PREFERRED);
}

这个bean中配置的就是读写策略，包括四种：

  • MASTER：从主节点读取
  • MASTER_PREFERRED：优先从master节点读取，master不可用才读取replica
  • REPLICA：从slave（replica）节点读取
  • REPLICA _PREFERRED：优先从slave（replica）节点读取，所有的slave都不可用才读取master
node.js http 云数据库Redis®

0 人点赞