mysql 百万数据测试迁移对比

第一种迁移方案

• mysqldump迁移
  • mysqldump导出数据库成一个sql文件(快)
  • scp命令复制到另一台服务器(快)
  • source命令导入数据，cpu跑满(比较耗时)
• 脚本迁移
  • 命令行操作数据库进行数据的导出和导入(比较耗时)

第二种迁移方案

• • redis搭建一个“生产 消费”的迁移方案
    • 在源数据服务器上跑一个多线程脚本，并行读取数据库里面的数据，并把数据写入到redis队列
    • 目标服务器作为一个消费者，在目标服务器上也跑一个多线程脚本，远程连接redis，并行读取redis队列里面的数据，并把读取到的数据写入到目标数据库。
    • 可以使用go语言来写迁移脚本，利用其原生的并发特性，可以达到并行迁移数据的目的，提升迁移效率。

第一种迁移方案效率太低，第二种迁移方案编码代价较高

文件迁移

• 通过mysql的select data into outfile file.txt、 load data infile file.txt into table的命令，以导入导出文件的形式迁移
• 需要在mysql开启了secure_file_priv选项（可以通过show global variables like '%secure%';查看mysql是否开启了此选项，默认值Null标识不允许执行导入导出命令。通过修改mysql配置项([mysqld])，将secure_file_priv= ）
• 详细配置

代码语言：javascript复制

[mysqld]
secure_file_priv=

具体操作

代码语言：javascript复制

select * from software into outfile '/data/software.txt';                          //导出数据
zip software.zip /tmp/software.txt                                                 //压缩数据
scp software.zip root@ip:/tmp/                                                     //上传数据到新服务器
unzip /tmp/software.zip                                                            //解压数据
//@dummy  不需要的数据字段                                     
load data infile '/tmp/software.txt' into table software(id,uniqueid,name,sub_name,@dummy,@dummy,@dummy,@dummy,appicon,created_at,updated_at);  //导入数据

云数据库SQLServer 云数据库Redis 迁移 编程算法 数据库

0 人点赞