[715]python binlog2sql同步mysql数据

2020-01-13 17:39:01 浏览数 (1)

什么是二进制日志(binlog)

binlog是记录所有数据库表结构变更（例如CREATE、ALTER TABLE…）以及表数据修改（INSERT、UPDATE、DELETE…）的二进制日志。

binlog不会记录SELECT和SHOW这类操作，因为这类操作对数据本身并没有修改，但你可以通过查询通用日志来查看MySQL执行过的所有语句。

  • 二进制日志包括两类文件：

二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件 二进制日志文件（文件名后缀为.00000*）记录数据库所有的DDL和DML(除了数据查询语句)语句事件

如何开启mysql的binlog

vi /etc/my.cnf

log-bin=mysql-bin #添加这一行就ok binlog-format=ROW #选择row模式 server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复

Binlog常见格式

业内目前推荐使用的是row模式，准确性高，虽然说文件大，但是现在有SSD和万兆光纤网络，这些磁盘IO和网络IO都是可以接受的。

binlog2sql：https://github.com/danfengcao/binlog2sql

binlog2sql是大众点评开源的一款用于解析binlog的工具

依赖包

代码语言：javascript复制
PyMySQL==0.7.11
wheel==0.29.0
mysql-replication==0.13

用途：

数据快速回滚(闪回) 主从切换后新master丢数据的修复 从binlog生成标准SQL，带来的衍生功能

代码语言：javascript复制
-- 查看自己的mysql是否打开了binlog选项
show variables like 'log_bin';
-- 查看binlog的格式
show variables like 'binlog_format';
-- 查看mysql binlog文件
show master status;
-- 查看mysql 版本
select version() from dual;

show variables like '%log_bin%';
show variables like 'server_id';
show variables like 'max_binlog_size';
show variables like 'binlog_format';
show variables like 'binlog_row_image';

MySQL server必须设置以下参数:

vi /etc/my.cnf

代码语言：javascript复制
[mysqld]
server_id = 1
log_bin = /var/log/mysql/mysql-bin.log
max_binlog_size = 1G
binlog_format = row
binlog_row_image = full #或noblog，默认为full

user需要的最小权限集合：

代码语言：javascript复制
select, super/replication client, replication slave

建议授权
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO

权限说明

  • select：需要读取server端information_schema.COLUMNS表，获取表结构的元信息，拼接成可视化的sql语句
  • super/replication client：两个权限都可以，需要执行’SHOW MASTER STATUS’, 获取server端的binlog列表
  • replication slave：通过BINLOG_DUMP协议获取binlog内容的权限

必须开启MySQL Server，理由有如下两点：

1、它是基于BINLOG_DUMP协议来获取binlog内容 2、需要读取server端information_schema.COLUMNS表，获取表结构的元信息，拼接成可视化的sql语句

因为是伪装成slave来获取主的二进制事件，故无需对binlog有可读权限。

基本用法

解析出标准SQL

代码语言：javascript复制
shell> python binlog2sql.py -h 127.0.0.1 -P 3306 -u admin -p admin -d test -t test3 test4 --start-file=mysql-bin.000002

输出：
INSERT INTO `test`.`test3`(`addtime`, `data`, `id`) VALUES ('2016-12-10 13:03:38', 'english', 4); #start 570 end 736
UPDATE `test`.`test3` SET `addtime`='2016-12-10 12:00:00', `data`='中文', `id`=3 WHERE `addtime`='2016-12-10 13:03:22' AND `data`='中文' AND `id`=3 LIMIT 1; #start 763 end 954
DELETE FROM `test`.`test3` WHERE `addtime`='2016-12-10 13:03:38' AND `data`='english' AND `id`=4 LIMIT 1; #start 981 end 1147

解析出回滚SQL

代码语言：javascript复制
shell> python binlog2sql.py --flashback -h 127.0.0.1 -P 3306 -u admin -p admin -d test -t test3 --start-file=mysql-bin.000002 --start-position=763 --stop-position=1147

输出：
INSERT INTO `test`.`test3`(`addtime`, `data`, `id`) VALUES ('2016-12-10 13:03:38', 'english', 4); #start 981 end 1147
UPDATE `test`.`test3` SET `addtime`='2016-12-10 13:03:22', `data`='中文', `id`=3 WHERE `addtime`='2016-12-10 12:00:00' AND `data`='中文' AND `id`=3 LIMIT 1; #start 763 end 954

选项

mysql连接配置

-h host; -P port; -u user; -p password

解析模式

–stop-never 持续解析binlog。可选。默认False，同步至执行命令时最新的binlog位置。

-K, --no-primary-key 对INSERT语句去除主键。可选。默认False

-B, --flashback 生成回滚SQL，可解析大文件，不受内存限制。可选。默认False。与stop-never或no-primary-key不能同时添加。

–back-interval -B模式下，每打印一千行回滚SQL，加一句SLEEP多少秒，如不想加SLEEP，请设为0。可选。默认1.0。

解析范围控制

–start-file 起始解析文件，只需文件名，无需全路径 。必须。

–start-position/–start-pos 起始解析位置。可选。默认为start-file的起始位置。

–stop-file/–end-file 终止解析文件。可选。默认为start-file同一个文件。若解析模式为stop-never，此选项失效。

–stop-position/–end-pos 终止解析位置。可选。默认为stop-file的最末位置；若解析模式为stop-never，此选项失效。

–start-datetime 起始解析时间，格式’%Y-%m-%d %H:%M:%S’。可选。默认不过滤。

–stop-datetime 终止解析时间，格式’%Y-%m-%d %H:%M:%S’。可选。默认不过滤。

对象过滤

-d, --databases 只解析目标db的sql，多个库用空格隔开，如-d db1 db2。可选。默认为空。

-t, --tables 只解析目标table的sql，多张表用空格隔开，如-t tbl1 tbl2。可选。默认为空。

–only-dml 只解析dml，忽略ddl。可选。默认False。

–sql-type 只解析指定类型，支持INSERT, UPDATE, DELETE。多个类型用空格隔开，如–sql-type INSERT DELETE。可选。默认为增删改都解析。用了此参数但没填任何类型，则三者都不解析。

应用案例

误删整张表数据，需要紧急回滚

闪回详细介绍可参见example目录下《闪回原理与实战》https://github.com/danfengcao/binlog2sql/blob/master/example/mysql-flashback-priciple-and-practice.md

代码语言：javascript复制
test库tbl表原有数据
mysql> select * from tbl;
 ---- -------- --------------------- 
| id | name   | addtime             |
 ---- -------- --------------------- 
|  1 | 小赵   | 2016-12-10 00:04:33 |
|  2 | 小钱   | 2016-12-10 00:04:48 |
|  3 | 小孙   | 2016-12-13 20:25:00 |
|  4 | 小李   | 2016-12-12 00:00:00 |
 ---- -------- --------------------- 
4 rows in set (0.00 sec)

mysql> delete from tbl;
Query OK, 4 rows affected (0.00 sec)

20:28时，tbl表误操作被清空
mysql> select * from tbl;
Empty set (0.00 sec)

恢复数据步骤：

  1. 登录mysql，查看目前的binlog文件 mysql> show master status; ------------------ ----------- | Log_name | File_size | ------------------ ----------- | mysql-bin.000051 | 967 | | mysql-bin.000052 | 965 | ------------------ -----------
  2. 最新的binlog文件是mysql-bin.000052，我们再定位误操作SQL的binlog位置。误操作人只能知道大致的误操作时间，我们根据大致时间过滤数据。 shell> python binlog2sql/binlog2sql.py -h 127.0.0.1 -P 3306 -u admin -p 'admin' -d test -t tbl --start-file='mysql-bin.000052' --start-datetime='2016-12-13 20:25:00' --stop-datetime='2016-12-13 20:30:00' 输出： INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-13 20:26:00', 4, '小李'); #start 317 end 487 time 2016-12-13 20:26:26 UPDATE `test`.`tbl` SET `addtime`='2016-12-12 00:00:00', `id`=4, `name`='小李' WHERE `addtime`='2016-12-13 20:26:00' AND `id`=4 AND `name`='小李' LIMIT 1; #start 514 end 701 time 2016-12-13 20:27:07 DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-10 00:04:33' AND `id`=1 AND `name`='小赵' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05 DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-10 00:04:48' AND `id`=2 AND `name`='小钱' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05 DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-13 20:25:00' AND `id`=3 AND `name`='小孙' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05 DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-12 00:00:00' AND `id`=4 AND `name`='小李' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05
  3. 我们得到了误操作sql的准确位置在728-938之间，再根据位置进一步过滤，使用flashback模式生成回滚sql，检查回滚sql是否正确(注：真实环境下，此步经常会进一步筛选出需要的sql。结合grep、编辑器等) shell> python binlog2sql/binlog2sql.py -h 127.0.0.1 -P 3306 -u admin -p 'admin' -d test -t tbl --start-file='mysql-bin.000052' --start-position=3346 --stop-position=3556 -B > rollback.sql | cat 输出： INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-12 00:00:00', 4, '小李'); #start 728 end 938 time 2016-12-13 20:28:05 INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-13 20:25:00', 3, '小孙'); #start 728 end 938 time 2016-12-13 20:28:05 INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:48', 2, '小钱'); #start 728 end 938 time 2016-12-13 20:28:05 INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:33', 1, '小赵'); #start 728 end 938 time 2016-12-13 20:28:05
  4. 确认回滚sql正确，执行回滚语句。登录mysql确认，数据回滚成功。 shell> mysql -h 127.0.0.1 -P 3306 -u admin -p 'admin' < rollback.sql mysql> select * from tbl; ---- -------- --------------------- | id | name | addtime | ---- -------- --------------------- | 1 | 小赵 | 2016-12-10 00:04:33 | | 2 | 小钱 | 2016-12-10 00:04:48 | | 3 | 小孙 | 2016-12-13 20:25:00 | | 4 | 小李 | 2016-12-12 00:00:00 | ---- -------- ---------------------

限制（对比mysqlbinlog）

  • mysql server必须开启，离线模式下不能解析
  • 参数 binlog_row_image 必须为FULL，暂不支持MINIMAL
  • 解析速度不如mysqlbinlog

优点（对比mysqlbinlog）

  • 纯Python开发，安装与使用都很简单
  • 自带flashback、no-primary-key解析模式，无需再装补丁
  • flashback模式下，更适合闪回实战
  • 解析为标准SQL，方便理解、筛选
  • 代码容易改造，可以支持更多个性化解析

总结

1. 看了下源代码，它本身的核心代码比较少，主要是在pymysqlreplication的基础上进行了二次开发。

pymysqlreplication实现了MySQL复制协议，可捕捉不同类型的EVENT事件。

具体可参考：https://github.com/noplay/python-mysql-replication

MySQL闪回原理与实战

DBA或开发人员，有时会误删或者误更新数据，如果是线上环境并且影响较大，就需要能快速回滚。传统恢复方法是利用备份重搭实例，再应用去除错误sql后的binlog来恢复数据。此法费时费力，甚至需要停机维护，并不适合快速回滚。也有团队利用LVM快照来缩短恢复时间，但快照的缺点是会影响mysql的性能。

MySQL闪回(flashback)利用binlog直接进行回滚，能快速恢复且不用停机。本文将介绍闪回原理，给出笔者的实战经验，并对现存的闪回工具作比较。

开胃菜

某天，小明因种种原因，误删了大批线上用户表的数据。他急忙找到公司DBA请求帮助，“客服电话已被打爆，大量用户投诉无法登陆，领导非常恼火。请问多久能恢复数据？”DBA一脸懵逼，沉默十秒后，伸出一根手指。“你的意思是一分钟就能恢复？太好了。”小明终于有些放松，露出了一丝笑容。“不，我们中有个人将会离开公司。”DBA沉痛的说道。

勿让悲剧发生，尽早将此文转给公司DBA。

闪回原理

binlog概述

MySQL binlog以event的形式，记录了MySQL server从启用binlog以来所有的变更信息，能够帮助重现这之间的所有变化。MySQL引入binlog主要有两个目的：一是为了主从复制；二是某些备份还原操作后需要重新应用binlog。

有三种可选的binlog格式，各有优缺点：

  • statement：基于SQL语句的模式，binlog数据量小，但是某些语句和函数在复制过程可能导致数据不一致甚至出错；
  • row：基于行的模式，记录的是行的完整变化。很安全，但是binlog会比其他两种模式大很多；
  • mixed：混合模式，根据语句来选用是statement还是row模式；

利用binlog闪回，需要将binlog格式设置为row。row模式下，一条使用innodb的insert会产生如下格式的binlog：

代码语言：javascript复制
# at 1129
#161225 23:15:38 server id 3773306082  end_log_pos 1197         Query   thread_id=1903021       exec_time=0     error_code=0
SET TIMESTAMP=1482678938/*!*/;
BEGIN
/*!*/;
# at 1197
#161225 23:15:38 server id 3773306082  end_log_pos 1245         Table_map: `test`.`user` mapped to number 290
# at 1245
#161225 23:15:38 server id 3773306082  end_log_pos 1352         Write_rows: table id 290 flags: STMT_END_F

BINLOG '
muJfWBPiFOjgMAAAAN0EAAAAACIBAAAAAAEABHRlc3QABHVzZXIAAwMPEQMeAAAC
muJfWB7iFOjgawAAAEgFAAAAACIBAAAAAAEAAgAD//gBAAAABuWwj i1tVhK1hH4AgAAAAblsI/p
krFYStYg AMAAAAG5bCP5a2ZWE/onPgEAAAABuWwj adjlhNeAD4BQAAAAJ0dFhRYJM=
'/*!*/;
# at 1352
#161225 23:15:38 server id 3773306082  end_log_pos 1379         Xid = 5327954
COMMIT/*!*/;

闪回原理

既然binlog以event形式记录了所有的变更信息，那么我们把需要回滚的event，从后往前回滚回去即可。

对于单个event的回滚，我们以表test.user来演示原理

代码语言：javascript复制
mysql> show create table test.userG
*************************** 1. row ***************************
       Table: user
Create Table: CREATE TABLE `user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(10) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8
  • 对于delete操作，我们从binlog提取出delete信息，生成的回滚语句是insert。(注：为了方便解释，我们用binlog2sql将原始binlog转化成了可读SQL) 原始：DELETE FROM `test`.`user` WHERE `id`=1 AND `name`='小赵'; 回滚：INSERT INTO `test`.`user`(`id`, `name`) VALUES (1, '小赵');
  • 对于insert操作，回滚SQL是delete。 原始：INSERT INTO `test`.`user`(`id`, `name`) VALUES (2, '小钱'); 回滚：DELETE FROM `test`.`user` WHERE `id`=2 AND `name`='小钱';
  • 对于update操作，回滚sql应该交换SET和WHERE的值。 原始：UPDATE `test`.`user` SET `id`=3, `name`='小李' WHERE `id`=3 AND `name`='小孙'; 回滚：UPDATE `test`.`user` SET `id`=3, `name`='小孙' WHERE `id`=3 AND `name`='小李';

闪回实战

真实的闪回场景中，最关键的是能快速筛选出真正需要回滚的SQL。

我们使用开源工具binlog2sql来进行实战演练。binlog2sql由美团点评DBA团队(上海)出品，多次在线上环境做快速回滚。

首先我们安装binlog2sql：

代码语言：javascript复制
shell> git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql
shell> pip install -r requirements.txt

背景：小明在11:44时误删了test库user表大批的数据，需要紧急回滚。

代码语言：javascript复制
test库user表原有数据
mysql> select * from user;
 ---- -------- --------------------- 
| id | name   | addtime             |
 ---- -------- --------------------- 
|  1 | 小赵   | 2013-11-11 00:04:33 |
|  2 | 小钱   | 2014-11-11 00:04:48 |
|  3 | 小孙   | 2016-11-11 20:25:00 |
|  4 | 小李   | 2013-11-11 00:00:00 |
.........
 ---- -------- --------------------- 
16384 rows in set (0.04 sec)

11:44时，user表大批数据被误删除。与此同时，正常业务数据是在继续写入的
mysql> delete from user where addtime>'2014-01-01';
Query OK, 16128 rows affected (0.18 sec)

mysql> select count(*) from user;
 ---------- 
| count(*) |
 ---------- 
|      261 |
 ----------

恢复数据步骤：

  1. 登录mysql，查看目前的binlog文件 mysql> show master logs; ------------------ ----------- | Log_name | File_size | ------------------ ----------- | mysql-bin.000053 | 168652863 | | mysql-bin.000054 | 504549 | ------------------ -----------
  2. 最新的binlog文件是mysql-bin.000054。我们的目标是筛选出需要回滚的SQL，由于误操作人只知道大致的误操作时间，我们首先根据时间做一次过滤。只需要解析test库user表。(注：如果有多个sql误操作，则生成的binlog可能分布在多个文件，需解析多个文件) shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -tuser --start-file='mysql-bin.000054' --start-datetime='2016-12-26 11:44:00' --stop-datetime='2016-12-26 11:50:00' > /tmp/raw.sql raw.sql输出： DELETE FROM `test`.`user` WHERE `addtime`='2014-11-11 00:04:48' AND `id`=2 AND `name`='小钱' LIMIT 1; #start 257427 end 265754 time 2016-12-26 11:44:56 DELETE FROM `test`.`user` WHERE `addtime`='2015-11-11 20:25:00' AND `id`=3 AND `name`='小孙' LIMIT 1; #start 257427 end 265754 time 2016-12-26 11:44:56 ... DELETE FROM `test`.`user` WHERE `addtime`='2016-12-14 23:09:07' AND `id`=24530 AND `name`='tt' LIMIT 1; #start 257427 end 504272 time 2016-12-26 11:44:56 INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:33', 32722, '小王'); #start 504299 end 504522 time 2016-12-26 11:49:42 ...
  3. 根据位置信息，我们确定了误操作sql来自同一个事务，准确位置在257427-504272之间(binlog2sql对于同一个事务会输出同样的start position)。再根据位置过滤，使用 -B 选项生成回滚sql，检查回滚sql是否正确。(注：真实场景下，生成的回滚SQL经常会需要进一步筛选。结合grep、编辑器等) shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -tuser --start-file='mysql-bin.000054' --start-position=257427 --stop-position=504272 -B > /tmp/rollback.sql rollback.sql 输出： INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2016-12-14 23:09:07', 24530, 'tt'); #start 257427 end 504272 time 2016-12-26 11:44:56 INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2016-12-12 00:00:00', 24529, '小李'); #start 257427 end 504272 time 2016-12-26 11:44:56 ... INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2014-11-11 00:04:48', 2, '小钱'); #start 257427 end 265754 time 2016-12-26 11:44:56 shell> wc -l /tmp/rollback.sql 16128 /tmp/rollback.sql
  4. 与业务方确认回滚sql没问题，执行回滚语句。登录mysql，确认回滚成功。 shell> mysql -h127.0.0.1 -P3306 -uadmin -p'admin' < /tmp/rollback.sql mysql> select count(*) from user; ---------- | count(*) | ---------- | 16389 | ----------

TIPS

  • 闪回的目标：快速筛选出真正需要回滚的数据。
  • 先根据库、表、时间做一次过滤，再根据位置做更准确的过滤。
  • 由于数据一直在写入，要确保回滚sql中不包含其他数据。可根据是否是同一事务、误操作行数、字段值的特征等等来帮助判断。
  • 执行回滚sql时如有报错，需要查实具体原因，一般是因为对应的数据已发生变化。由于是严格的行模式，只要有唯一键(包括主键)存在，就只会报某条数据不存在的错，不必担心会更新不该操作的数据。业务如果有特殊逻辑，数据回滚可能会带来影响。
  • 如果只回滚某张表，并且该表有关联表，关联表并不会被回滚，需与业务方沟通清楚。

哪些数据需要回滚，让业务方来判断！

闪回工具

MySQL闪回特性最早由阿里彭立勋开发，彭在2012年给官方提交了一个patch，并对闪回设计思路做了说明(设计思路很有启发性，强烈推荐阅读)。但是因为种种原因，业内安装这个patch的团队至今还是少数，真正应用到线上的更是少之又少。彭之后，又有多位人员针对不同mysql版本不同语言开发了闪回工具，原理用的都是彭的思路。

我将这些闪回工具按实现方式分成了三类。

  • 第一类是以patch形式集成到官方工具mysqlbinlog中。以彭提交的patch为代表。 优点
    • 上手成本低。mysqlbinlog原有的选项都能直接利用，只是多加了一个闪回选项。闪回特性未来有可能被官方收录。
    • 支持离线解析。

    缺点

    • 兼容性差、项目活跃度不高。由于binlog格式的变动，如果闪回工具作者不及时对补丁升级，则闪回工具将无法使用。目前已有多位人员分别针对mysql5.5，5.6，5.7开发了patch，部分项目代码公开，但总体上活跃度都不高。
    • 难以添加新功能，实战效果欠佳。在实战中，经常会遇到现有patch不满足需求的情况，比如要加个表过滤，很简单的一个需求，代码改动也不会大，但对大部分DBA来说，改mysql源码还是很困难的事。
    • 安装稍显麻烦。需要对mysql源码打补丁再编译生成。

    这些缺点，可能都是闪回没有流行开来的原因。

  • 第二类是独立工具，通过伪装成slave拉取binlog来进行处理。以binlog2sql为代表。 优点
    • 兼容性好。伪装成slave拉binlog这项技术在业界应用的非常广泛，多个开发语言都有这样的活跃项目，MySQL版本的兼容性由这些项目搞定，闪回工具的兼容问题不再突出。
    • 添加新功能的难度小。更容易被改造成DBA自己喜欢的形式。更适合实战。
    • 安装和使用简单。

    缺点

    • 必须开启MySQL server。
  • 第三类是简单脚本。先用mysqlbinlog解析出文本格式的binlog，再根据回滚原理用正则进行匹配并替换。 优点
    • 脚本写起来方便，往往能快速搞定某个特定问题。
    • 安装和使用简单。
    • 支持离线解析。

    缺点

    • 通用性不好。
    • 可靠性不好。

就目前的闪回工具而言，线上环境的闪回，笔者建议使用binlog2sql，离线解析使用mysqlbinlog。

关于DDL的flashback

本文所述的flashback仅针对DML语句的快速回滚。但如果误操作是DDL的话，是无法利用binlog做快速回滚的，因为即使在row模式下，binlog对于DDL操作也不会记录每行数据的变化。要实现DDL快速回滚，必须修改MySQL源码，使得在执行DDL前先备份老数据。目前有多个mysql定制版本实现了DDL闪回特性，阿里林晓斌团队提交了patch给MySQL官方，MariaDB预计在不久后加入包含DDL的flashback特性。DDL闪回的副作用是会增加额外存储。考虑到其应用频次实在过低，本文不做详述，有兴趣的同学可以自己去了解，重要的几篇文章我在参考资料中做了引用。

有任何问题，或有mysql闪回相关的优秀工具优秀文章遗漏，烦请告知。 danfengcao.info@gmail.com

参考资料

[1] MySQL Internals Manual , Chapter 20 The Binary Log

[2] 彭立勋，MySQL下实现闪回的设计思路

[3] Lixun Peng, Provide the flashback feature by binlog

[4] 王广友，mysqlbinlog flashback 5.6完全使用手册与原理

[5] 姜承尧, 拿走不谢，Flashback for MySQL 5.7

[6] 林晓斌, MySQL闪回方案讨论及实现

[7] xiaobin lin, flashback from binlog for MySQL

[8] mariadb.com, AliSQL and some features that have made it into MariaDB Server

[9] danfengcao, binlog2sql: Parse MySQL binlog to SQL you want

如何有效率的下载依赖包？

pip-9.0.1新增了一个选项download，可以只下载包（自动下载相关依赖包）而不安装它。

canal：https://github.com/alibaba/canal

1）canal:是阿里巴巴旗下的一款开源项目，纯Java开发,基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL。

2）otter：也是阿里开源的一个分布式数据库同步系统，尤其是在跨机房数据库同步方面，有很强大的功能。它是基于数据库增量日志解析，实时将数据同步到本机房或跨机房的mysql/oracle数据库。

两者的区别在于：

otter目前嵌入式依赖canal，部署为同一个jvm，目前设计为不产生Relay Log。

otter目前允许自定义同步逻辑，解决各类需求。

参考：https://github.com/danfengcao/binlog2sql https://www.cnblogs.com/ivictor/p/6418409.html https://github.com/liukelin/canal_mysql_nosql_sync https://blog.csdn.net/lzhcoder/article/details/88814364

python 云数据库SQLServer sql sqlserver 数据库

0 人点赞