日常工作有时候需要比对不同MySQL或者其他数据源的差异情况，如果是主从环境可是用percona-toolkit工具包，如果是非主从环境的数据比对，就需要我们自行写脚本实现。
下面是我个人之前写的 https://github.com/lirulei/data_diff 供参考。
data_diff
用于比对mysql和mysql/pg/es之间的数据差异，mysql2mysql和mysql2pg需要确保二者的列的顺序是一致的，mysql2es二者的列顺序无所谓。
说明
- mysql2mysql 用于源端和目标端都是MySQL的数据比对场景。
- mysql2pg 用于源端是MySQL，目标端是PG的数据比对场景。
- 特别注意：mysql2mysql和mysql2pg这2个工具只支持主键为整型单调递增。代码里写死了主键为id，如果主键非id的话，批量替换下即可。非自增主键的场景，目前脚本还不支持。
- mysql2es 用于源端是MySQL，目标端是ES的数据比对场景。它会将差异的es id输出到redis queue中。
依赖
mysql2mysql
- pip3 install psycopg2==2.9.4
mysql2pg
- pip3 install psycopg2==2.9.4
- pip3 install mysql-connector-python==8.0.31
mysql2es
- pip3 install elasticsearch==7.13.1
- pip3 install mysql-connector-python==8.0.31
- pip3 install redis==3.5.3
性能
- step为1000时，每秒大约可以比对2.5k条记录
不足
- mysql2pg的脚本，不能处理bit类型，会出现误判的情况
- mysql2pg的脚本，暂时不具备where条件的功能，待完善
