初学乍练redis：使用redis-migrate-tool做redis在线数据迁移

2019-05-25 19:35:30 浏览数 (1)

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://cloud.tencent.com/developer/article/1433061

目录

一、问题提出

二、关于redis-migrate-tool

三、实验

1. 建议集群redis

2. 建立单实例redis

3. 源码安装redis-migrate-tool

4. 配置redis-migrate-tool

5. 测试

四、业务切换

五、注意事项

参考：

一、问题提出

代码语言：txt复制
    随着业务量的增长，主从复制的redis架构中，单实例的OPS已经接近峰值，很自然想到了数据水平分片。redis 3.0版的一大特性就是支持数据分片的集群功能。集群的特点在于拥有和单机实例同样的性能，同时在网络分区后能够提供一定的可访问性以及对主库故障恢复的支持。哨兵与集群是两个独立的功能，但从特性来看哨兵可以视为集群的子集，当不需要数据分片或者在客户端进行分片的场景下使用哨兵就足够了，但如果需要进行水平扩容，则集群是一个较好的选择。
代码语言：txt复制
    当一个全新的redis集群已经搭建完成后，需要将原来单实例redis中的数据在线迁移到redis集群中，并且在迁移过程不能影响现有服务，具体需求如下：
  1. 在线数据迁移，不能停库。
  2. 切换服务中断时间最小化，即0或接近于0。
  3. 业务不受影响，即没有性能缺失。
  4. 保证迁移数据的完整性。
  5. 应用改动量极小。
代码语言：txt复制
    为了满足以上需求，经过一番调研，发现redis-migrate-tool工具能胜任此数据迁移工作。

二、关于redis-migrate-tool

代码语言：txt复制
    Redis-Migrate-Tool（RMT），是唯品会开源的redis数据迁移工具，主要用于异构redis集群间的数据在线迁移，即数据迁移过程中源集群仍可以正常接受业务读写请求，无业务中断服务时间。目前该项目已经开源在GitHub上（[https://github.com/vipshop/redis-migrate-tool](https://github.com/vipshop/redis-migrate-tool)）。
代码语言：txt复制
    RMT具有以下特性：
  • 快速。
  • 多线程。
  • 基于redis复制。
  • 实时迁移。
  • 迁移过程中，源集群不影响对外提供服务。
  • 异构迁移。
  • 支持Twemproxy集群，redis cluster集群，rdb文件 和 aof文件。
  • 过滤功能。
  • 当目标集群是Twemproxy，数据会跳过Twemproxy直接导入到后端的redis。
  • 迁移状态显示。
  • 完善的数据抽样校验。
代码语言：txt复制
    RMT支持异构redis相互之间的迁移，数据来源可以是：单独的redis实例，twemproxy集群，redis cluster，rdb文件，aof文件。目标可以是：单独的redis实例，twemproxy集群，redis cluster，rdb文件。
代码语言：txt复制
    RMT启动后模拟成redis slave，请求master的全量数据和增量数据。RMT收到数据之后解析成redis协议格式的oplog（写操作），然后发送给目标库。有两种请求方式，source_safe: true，对于同一ip上的redis，逐个的请求全量数据（RDB）；source_safe: false，并行请求同步全量数据。source_safe: false时，需要注意多个源redis所在的同一主机是否有足够的内存和RDB并发落盘时的IOPS性能。
代码语言：txt复制
    RMT可以帮你从备份的AOF和RDB文件恢复到目标库。

三、实验

代码语言：txt复制
    我们建立一个6实例redis集群和一个单实例redis，向单实例redis插入测试数据，然后用redis-migrate-tool将数据迁移至集群中。注意redis-migrate-tool目前不支持redis 4.x，因此本实验使用redis 3.2.3版本。

1. 建议集群redis

代码语言：txt复制
    集群由3节点6实例组成，IP和端口如下：

172.16.1.127：20001、20002

172.16.1.126：20001、20002

172.16.1.125：20001、20002（1）准备配置文件

代码语言：txt复制
     redis.conf配置文件类似下面的内容，每个实例只有端口不一样：
代码语言：javascript复制
rename-command flushAll ""
daemonize yes
port 20001
dir "/var/redis/20001"
pidfile "/var/redis/20001/redis.pid"
logfile "/var/redis/20001/redis.log"
dbfilename "dump.rdb"
save 900 1
appendonly no
appendfilename "appendonly.aof"
appendfsync always
maxmemory 1gb
maxmemory-policy volatile-lru
maxmemory-samples 3
slowlog-log-slower-than 10000
repl-backlog-size 64mb
timeout 0
repl-timeout 240
cluster-enabled yes

requirepass "123456"
masterauth "123456"
protected-mode no

client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 2gb 1gb 300

（2）启动所有集群实例

代码语言：txt复制
     在三个节点上分别执行以下命令，共创建6个单实例。
代码语言：javascript复制
~/redis-3.2.3/src/redis-server /var/redis/20001/redis.conf
~/redis-3.2.3/src/redis-server /var/redis/20001/redis.conf
代码语言：txt复制
    启动后，可以使用redis命令行客户端连接任意一个节点使用info命令来判断集群是否正常启用了：
代码语言：javascript复制
[root@hdp4/var/redis]#~/redis-3.2.3/src/redis-cli -p 20001 -a 123456 info cluster
# Cluster
cluster_enabled:1
[root@hdp4/var/redis]#
代码语言：txt复制
    cluster_enabled为1表示集群正常启用了。现在每个节点都是完全独立的，下面将它们加入同一个集群。

（3）执行redis-trib.rb脚本创建集群

代码语言：txt复制
     这步需要注意一点，我们的redis设置了密码，因此需要修改redis-trib.rb源码，在“@r = Redis.new”行将密码加入（集群中的所有redis使用同一密码）：
代码语言：javascript复制
@r = Redis.new(:host => @info[:host], :port => @info[:port], :timeout => 60, :password => "123456")
代码语言：txt复制
    然后执行下面的命令创建集群：
代码语言：javascript复制
~/redis-3.2.3/src/redis-trib.rb create --replicas 1 172.16.1.127:20001 172.16.1.127:20002 172.16.1.126:20001 172.16.1.126:20002 172.16.1.125:20001 172.16.1.125:20002
代码语言：txt复制
    其中create参数表示要初始化集群，--replicas 1表示每个主库拥有的从库个数为1，所以整个集群共有3个主库以及3个从库，而主从的节点分配由redis-trib.rb来控制。

2. 建立单实例redis

（1）准备配置文件

代码语言：javascript复制
redis.conf配置文件内容如下，之比集群配置文件少了一行cluster-enabled yes：
rename-command flushAll ""
daemonize yes
port 20001
dir "/var/redis/20001"
pidfile "/var/redis/20001/redis.pid"
logfile "/var/redis/20001/redis.log"
dbfilename "dump.rdb"
save 900 1
appendonly no
appendfilename "appendonly.aof"
appendfsync always
maxmemory 1gb
maxmemory-policy volatile-lru
maxmemory-samples 3
slowlog-log-slower-than 10000
repl-backlog-size 64mb
timeout 0
repl-timeout 240

requirepass "123456"
masterauth "123456"
protected-mode no

client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 2gb 1gb 300

（2）启动单实例

代码语言：javascript复制
~/redis-3.2.3/src/redis-server /var/redis/20001/redis.conf

3. 源码安装redis-migrate-tool

代码语言：javascript复制
unzip redis-migrate-tool-master.zip
cd redis-migrate-tool-master
autoreconf -fvi
./configure
make

4. 配置redis-migrate-tool

代码语言：txt复制
    rmt.conf配置文件内容如下：
代码语言：javascript复制
[source]
type: single
servers : 
-172.16.1.124:20001
redis_auth: 123456

[target]
type: redis cluster
servers:
-172.16.1.127:20001
redis_auth: 123456

[common]
listen: 0.0.0.0:8888
代码语言：txt复制
    其中目标为集群中任意节点即可。

5. 测试

（1）在单实例中生成一些测试key

代码语言：javascript复制
~/redis-3.2.3/src/redis-cli -p 20001 -a 123456 set foo bar
~/redis-3.2.3/src/redis-cli -p 20001 -a 123456 set foo1 bar1
~/redis-3.2.3/src/redis-cli -p 20001 -a 123456 set key1 123

（2）启动redis-migrate-tool

代码语言：javascript复制
~/redis-migrate-tool-master/src/redis-migrate-tool -c rmt.conf -o log -d
代码语言：txt复制
    redis-migrate-tool的监听端口为8888：
代码语言：javascript复制
[root@hdp1~/redis-migrate-tool-master]#lsof -i:8888
COMMAND      PID USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME
redis-mig 126471 root    9u  IPv4 137161329      0t0  TCP *:ddi-tcp-1 (LISTEN)
[root@hdp1~/redis-migrate-tool-master]#

（3）查看集群数据

代码语言：javascript复制
[root@hdp4/var/redis]#~/redis-3.2.3/src/redis-cli -p 20001 -a 123456 get foo
(error) MOVED 12182 172.16.1.125:20001
[root@hdp4/var/redis]#~/redis-3.2.3/src/redis-cli -h 172.16.1.125 -p 20001 -a 123456 get foo
"bar"
[root@hdp4/var/redis]#~/redis-3.2.3/src/redis-cli -p 20001 -a 123456 get foo1
(error) MOVED 13431 172.16.1.125:20001
[root@hdp4/var/redis]#~/redis-3.2.3/src/redis-cli -h 172.16.1.125 -p 20001 -a 123456 get foo1
"bar1"
[root@hdp4/var/redis]#~/redis-3.2.3/src/redis-cli -p 20001 -a 123456 get key1
(error) MOVED 9189 172.16.1.126:20001
[root@hdp4/var/redis]#~/redis-3.2.3/src/redis-cli -h 172.16.1.126 -p 20001 -a 123456 get key1
"123"
[root@hdp4/var/redis]#
代码语言：txt复制
    可以看到，3个测试key都复制到了集群。以后在单实例上的任何数据变动都会复制到集群中。（4）观察迁移状态
代码语言：txt复制
     使用redis-cli可以连接 rmt.conf 中配置的端口，执行info命令，就可以观察迁移的状态。total_msgs_outqueue可以判断是否有oplog在队列中等待处理，如果total_msgs_outqueue>0，请继续等待。
代码语言：javascript复制
[root@hdp1~/redis-migrate-tool-master]#~/redis-3.2.3/src/redis-cli -p 8888 info
# Server
version:0.1.0
os:Linux 3.10.0-327.el7.x86_64 x86_64
multiplexing_api:epoll
gcc_version:4.8.5
process_id:126471
tcp_port:8888
uptime_in_seconds:141
uptime_in_days:0
config_file:/root/redis-migrate-tool-master/rmt.conf

# Clients
connected_clients:1
max_clients_limit:100
total_connections_received:2

# Memory
mem_allocator:jemalloc-4.0.4

# Group
source_nodes_count:1
target_nodes_count:3

# Stats
all_rdb_received:1
all_rdb_parsed:1
all_aof_loaded:0
rdb_received_count:1
rdb_parsed_count:1
aof_loaded_count:0
total_msgs_recv:3
total_msgs_sent:3
total_net_input_bytes:305
total_net_output_bytes:96
total_net_input_bytes_human:305B
total_net_output_bytes_human:96B
total_mbufs_inqueue:0
total_msgs_outqueue:0
[root@hdp1~/redis-migrate-tool-master]#

（5）检验集群和目标的差异

代码语言：javascript复制
[root@hdp1~/redis-migrate-tool-master]#src/redis-migrate-tool -c rmt.conf -o log -C "redis_check 10000"
Check job is running...

Checked keys: 10000
Inconsistent value keys: 0
Inconsistent expire keys : 0
Other check error keys: 0
Checked OK keys: 10000

All keys checked OK!
Check job finished, used 0.136s
[root@hdp1~/redis-migrate-tool-master]#

四、业务切换

代码语言：txt复制
    如果是异构集群的迁移，更改redis驱动/客户端和修改代码，重新发布是必然的事情。如果是同构集群，做配置发布就可以。如果没有做重启发布，等待源集群没有连接之后，可以关闭REDIS-MIGRATE-TOOL进程（kill或在redis-cli shutdown）。或者重启应用，强制断开长连接。

五、注意事项

  1. REDIS-MIGRATE-TOOL迁移数据到twemproxy，需要保持rmt.conf 中 target hash、distribution、servers 三个参数和目标集群的twemproxy配置严格一致。
  2. 迁移中和业务切换之前，请反复观察"-o redis-migrate-tool.log"日志信息，确认是否有异常。
  3. 业务切换之前，请充分检查，特别是数据的一致性。
  4. REDIS-MIGRATE-TOOL 建议部署在单独空闲机器上，同目的集群在同一个网段（跨机房迁移数据，可以提高迁移速度）。千万不要部署在源集群所在的机器，防止资源不足，比如内存，带宽，IOPS。
  5. 注意RDB传输是否超时。
  6. redis client buf中的slave项，设置足够大的buffer size和超时时间。
  7. 运行此工具前，请确认redis源机器是否有足够的内存允许至少生成一个RDB文件。如果redis源机器有足够的内存允许所有的redis同时生成RDB文件，可以在配置文件rmt.conf中的添加配置项source_safe: false
  8. 以下命令不支持传播到目标redis组，因为keys使用这些命令可能会跨越不同的目标redis节点：RENAME、RENAMENX、RPOPLPUSH、BRPOPLPUSH、FLUSHALL、FLUSHDB、BITOP、MOVE、GEORADIUS、GEORADIUSBYMEMBER、EVAL、EVALSHA、SCRIPT、PFMERGE。

参考：

  • redis-migrate-tool
  • Redis异构集群数据在线迁移工具Redis-Migrate-Tool
  • redis-migrate-tool迁移工具
云数据库Redis 数据迁移

0 人点赞