上次聊到MySQL官方运维工具。这次再了解下常用的开源工具。
目前已收集的并在实际环境中使用过的开源工具如下：
可以说掌握了这些工具（原理和使用技巧），MySQL的日常运维就更简单。
备注：介绍中图片部分是开源社区的，部分是自己按照思路画的，画图有助于理解。
在线DDL变更
pt-osc&gh-ost都是在线变更ddl的工具。
- pt-osc在于触发器原理
- gh-ost不依赖于触发器,通过模拟从库,在binlog中获取增量变更,再异步应用到ghost表
备注：最终都会有RENAME表名的动作。
备份恢复工具
- xtrabackup 二进制在线热备份工具，支持增量备份。目前物理备份中唯一的选择。全量方面，其实mysql8.0 clone也算是不错的选择。（高版本innobackupex已废弃）
- mydumper是多线逻辑备份工具，一些自研产品常用的工具，myloader是sql语句导入工具 ，同一个软件包，跟mydumper结合使用。
压测工具
- TPCC测试模拟了一个比较复杂的 OLTP应用环境，是一个在线零售公司。此公司对10万种商品进行销售，业务模型：批发零售系统，订单处理下的数据库的表现。
- sysbench是一个开源的、模块化的、跨平台的多线程性能测试工具，可以用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。单语句INSERT，SELECT，UPDATE下的数据库的表现。
区别在于TPCC测试的业务流程，sysbench测试的单语句执行性能。按照自需选择测试工具。
闪回工具
有时会误删或者误更新数据，binlog格式必须为row，且binlog_row_image=full，并且保留下来的情况下。可以分析binlog回转SQL语句进行恢复。就是delete→insert ，insert→delete，update→update方式按照时间顺序倒序回放。常用的工具有binlog2sql和MyFlash。
大众点评 binlog2sql：
- 数据库服务必须在线状态
- 开发语言Python 2.7, 3.4
- 仅支持 MySQL 5.6, 5.7 https://github.com/danfengcao/binlog2sql
美团点评 MyFlash：
- 仅支持MySQL 5.6与5.7
- 只能回滚DML（增、删、改）
- 开发语言c，mysqlbinlog工具配合sed、awk
- 离线解析 https://github.com/Meituan-Dianping/MyFlash
MyFlash做的性能对比：
- binlog2sql是要分析数据库运行中的一些状态 和 BINLOG_DUMP协议获取binlog内容
- mysqlbinlog是因为要把binlog解析的不是标准的SQL语句
- MyFlash是直接生成标准sql语句，效率上更高
慢日志分析
pt-query-digest是 Percona-Toolkit 的组件之一，非常不错的日志分析工具，优于mysqldumpslow，可以从普通日志、慢查询日志、二进制日志以及show processlist和tcpdump中对SQL进行分析。
主从一致性验证
pt-table-checksum 是 Percona-Toolkit 的组件之一，用于检测MySQL主、从库的数据是否一致。其原理是在主库执行基于statement的sql语句来生成主库数据块的checksum，把相同的sql语句传递到从库执行，并在从库上计算相同数据块的checksum，最后，比较主从库上相同数据块的checksum值，由此判断主从数据是否一致。recursion-method 方式选择host方式。
其他
- undrop-for-innodb分析ibd文件进行数据恢复工作。当误删除数据、无备份，且确保本地ibd文件没有写入，数据能恢复。但中文解析可能失败需注意。
- innodb_rub innodb_ruby 主要可查看innodb数据库数据表的各种存储，解析innodb的文件，用于学习数据库底层的一些存储。
备注：这里可以结合官方innnchecksum，分析MySQL8.0的ibd文件结构，便于做个类似的工具
SQL审核web工具
基于Python 及 Django，利于二次开发改造，有开发能力，可以参考。主要是依赖于pt-toolkit进行整合开发的。
- Yearning 自动化SQL语句审核，可对SQL进行自动检测并执行。DDL/DML语句执行后自动生成回滚语句。前身是Inception。 https://github.com/cookieY/Yearning
- Archery 集成SQL查询、审核、执行、备份、慢日志管理等功能。 https://github.com/hhyo/Archery
客户端图形化管理工具
主要解决数据库管理员、程序开发者提供可视化的SQL开发、数据操作、以及数据库管理功能，易学易用。特别是数据导入导出功能和二进制数据转化图片方面，比较方便。但对于DBA来说是一个潜在的风险，长时间使用这些工具，命令行易忘记。 从上到下推荐：
- Navicat
- SQLyog
- HeidiSQL：采用 Delphi 开发，支持 Windows 操作系统。支持 MySQL、MariaDB、Percona Server 和微软的 SQL Server
- MySQL Workbench 官方管理重量级工具
- PhpMyAdmin 安装部署比较麻烦，早起使用的多
总结
对于MySQL5.7版本这些工具目前支持的都非常友好，但8.0版本目前很多工具不兼容。
工具就是替代一部分功能，提高效率的。MySQL运维中提高工作效率，就需要引入这些工具，也需要使用得当，理解并熟悉用法，才是运维之道。
墨天轮原文链接：https://www.modb.pro/db/77114（复制到浏览器或者点击“阅读原文”立即查看）
关于作者
崔虎龙，云和恩墨MySQL技术顾问，长期服务于金融、游戏、物流等行业的数据中心，设计数据存储架构，并熟悉数据中心运营管理的流程及规范，自动化运维等。擅长MySQL、Redis、MongoDB数据库高可用设计和运维故障处理、备份恢复、升级迁移、性能优化。自学通过了MySQL OCP 5.6和MySQL OCP 5.7认证。2年多开发经验，10年数据库运维工作经验，其中专职做MySQL工作8年；曾经担任过项目经理、数据库经理、数据仓库架构师、MySQL技术专家、DBA等职务；涉及行业：金融（银行、理财）、物流、游戏、医疗、重工业等。
