redis全局遍历替换特征字符串

2023-03-08 20:29:35 浏览数 (2)

需求：将一个redis实例（如10.10.10.1:6379）范围内所有key值中的 .letssing.net 替换为 .kaixinvv.com。

实现：

1. 确定替换规则 http://txcdn-file-m-mvbox-cn.letssing.net/ -> http://txcdn-file-m-mvbox-cn.kaixinvv.com/ https://msgimg.letssing.net/               -> https://msgimg.kaixinvv.com/ http://file-m-mvbox-cn.letssing.net/       -> http://file-m-mvbox-cn.kaixinvv.com/ http://txcdn-mpres.letssing.net/           -> http://txcdn-mpres.kaixinvv.com/ https://msgvoice.letssing.net/             -> https://msgvoice.kaixinvv.com/   https://music.letssing.net/                -> https://music.kaixinvv.com/ https://music.51vv.com/                    -> https://music.kaixinvv.com/

2. 确认master实例

代码语言：javascript复制
/home/redis/redis-5.0.3/src/redis-cli -h 10.10.10.1 -p 6379 info | grep master | grep -v sentinel_masters | awk -F"," '{print $3}' | awk -F"=" '{print $2}' 

3. 导出数据

代码语言：javascript复制
export REDISDUMPGO_AUTH=123456
./redis-dump-go -host 10.10.10.1 -port 6379 -n 12 > data.txt

# 备份文件
cp -f data.txt data.txt.bak

说明：使用redis-dump-go工具导出redis数据，结果是RESP协议的报文。例如：

代码语言：javascript复制
*3 //* 表示报文的开始，3 表示有三个参数，分别是 set、key1、value1
$3 // $3 表示第一个参数长度为 3 个字节
set  // 一个参数
$4 // 第二个参数长度为 4 个字节
key1 // 第二个参数
$6 // 第三个参数长度为 6 个字节
value1 // 第三个参数

关于redis-dump-go的说明参见“https://github.com/yannh/redis-dump-go”。

4. 替换字符串 （1）使用sed命令

代码语言：javascript复制
sed -e 's/http://txcdn-file-m-mvbox-cn.letssing.net//http://txcdn-file-m-mvbox-cn.kaixinvv.com//g;s/https://msgimg.letssing.net//https://msgimg.kaixinvv.com//g;s/http://file-m-mvbox-cn.letssing.net//http://file-m-mvbox-cn.kaixinvv.com//g;s/http://txcdn-mpres.letssing.net//http://txcdn-mpres.kaixinvv.com//g;s/https://msgvoice.letssing.net//https://msgvoice.kaixinvv.com//g' -i data.txt

适用情况：替换后字节数无变化的小数据集。

（2）使用java程序 cat Test.java

代码语言：javascript复制
import java.io.*;

/**
 * @Author: mumu
 * @Date: 2023/2/21
 * @Description:
 */
public class Test {
    public static void main(String[] args) throws IOException {
        //原始文件位置
        String inputFile="/home/redis/data.txt.bak";

        //输出文件位置
        String outputFile="/home/redis/data.txt";

        //创建输入流
        BufferedReader br=new BufferedReader(new InputStreamReader(new FileInputStream(inputFile)));
        //创建输出流
        BufferedWriter bw=new BufferedWriter(new OutputStreamWriter(new BufferedOutputStream(new FileOutputStream(outputFile))));

        String str="";
        while ((str=br.readLine())!=null){
            //识别行头
            if(str.charAt(0)=='$'){
                //再读一行
                String content=br.readLine();
                if(content!=null && (content.contains("https://music.letssing.net/") || content.contains("https://music.51vv.com"))) {
                    content = content.replaceAll("https://music.letssing.net/", "https://music.kaixinvv.com/");
                    content = content.replaceAll("https://music.51vv.com/", "https://music.kaixinvv.com/");

                    //统计这行的字符
                    int lineLength = content.getBytes().length;

                    //输出内容
                    bw.write("$"   lineLength   "rn");
                    bw.write(content   "rn");
                } else {bw.write(str "rn");bw.write(content "rn");}
            }else {
                bw.write(str "rn");
            }
        }
        bw.flush();
        //关闭输入输出流
        br.close();
        bw.close();
    }
}

# 执行 java Test

适用所有情况，尤其是替换后字节数发生变化（如51vv.com替换为kaixinvv.com后多了四个字节）或大数据集。

https http 网络安全 云数据库Redis java

0 人点赞