PT-OSC在线DDL变更工具使用攻略

2020-08-05 11:28:03 浏览数 (2)

pt-online-schema-change可以在不阻塞读写的情况下在线整理表结构、收集碎片、给大表加字段和索引,并且可以实时查看执行进度。

原理

pt-online-schema-change在工作过程时,首先会创建一张要修改的表的空表,在空表上执行alter语句。然后从原始表中copy数据行导入新表。拷贝完成后,会将原表移走,用新表代替原表,最后删除原始表。

数据是以一定的块大小从原表拷贝到临时表,在数据拷贝前,会在原表上创建delete触发器、update触发器、insert触发器,拷贝过程中在原表上进行的写操作都会通过触发器更新到临时表。

当完成数据拷贝过程后,会用rename table的方式交换原表和临时表的表名。

最后会删除触发器以及原表。

PT-OSC工具的限制

  • 原表上不能有触发器。
  • 原表必须有主键。
  • 如果原表有外键,需要使用--alter-foreign-keys-method指定特定值,否则工具不予执行。
  • 要创建临时表,应该提前查看磁盘空间,如果磁盘空间不足会导致变更失败。

参数详解

  1. --dry-run:创建和更改新表,但是不建立触发器,不拷贝数据,也不会替换原表。
  2. --execute:这个参数的作用和前面工作原理的介绍的一样,会建立触发器,来保证最新变更的数据会影响至新表。注意:如果不加这个参数,这个工具会在执行一些检查后退出。这一举措是为了让使用充分了解了这个工具的原理,同时阅读了官方文档。
  3. --alter:结构变更语句,可以指定多个更改,用逗号隔开。下面是一些条件限制,如果违反了这些限制,就会导致变更失败。 原表上必须有主键或者唯一索引。 不支持通过rename的方式给表重命名。 不支持索引重命名。,需要先drop在add。 子句中如果定义了add column并且定义了not null,必须制定default值,否则会失败。 如果要删除外键,使用工具的时候外键名要加下划线,比如 --alter “DROP FOREIGN KEY _fk_foo”。
  4. --alter-foreign-keys-method:该参数定义了如何修改外键以便他们在新表中可以被引用。 比如要修改t1,t2有外键依赖于t1,t1_new是alter t1产生的临时表。这里的外键不是看t1上是否存在外键,而是作为子表的t2,在你rename t1时,t1不存在会导致t2的外键检测失败,从而不允许rename。 它支持两种不同的技术来实现这一点。 auto:自动选择实现方式,工具会优先使用rebuild_constraints方式。 rebuild_constraints:采用alter table的方式删除和新建外键,并重新添加引用新表的外键约束。优先选用此方式,除非子表太大,ALTER会花费很长时间。 drop_swap:禁用外键检查(FOREIGN_KEY_CHECKS=0),然后删除原始表,重命名新表。这与通常我们认为的重命名不同,后者使用的是客户端无法检测到的原子重命名方式。这种方式更快,不会阻塞,但是风险更大。原因有二,首先,在删除原始表以及重命名新表之间的短时间内,对原表的查询会失败,其次,如果重命名失败会导致原表无法恢复。
  5. --max-log:默认1S。每个chunks拷贝完成后,会查看check-slave-log指定的从库延迟信息,如果超过了max-log定义的值则暂停复制数据,知道延迟时间小于max-log定义的时间。
  6. --chunk-time:在check-time执行的时间范围内,动态调整chunk-size的大小,以适应服务器性能的变化。设置为0,或者指定check-size的大小都可以禁止动态调整
  7. --chunk-size:定义每次拷贝数据的大小,默认1000,可以添加K、M、G
  8. --print:打印SQL语句到标准输出。

使用示例

1. 添加新列

代码语言:javascript复制
pt-online-schema-change --user=root --password=root --alter "add column score int(3)" D=test,t=tuser --print --execute

2. 修改字段类型

代码语言:javascript复制
pt-online-schema-change --user=root --password=root --alter "modify score varchar(10) DEFAULT NULL" D=test,t=tuser --print --execute --no-check-alter

3. 删除索引

代码语言:javascript复制
pt-online-schema-change --user=root --password=root --alter "drop index name_age" D=test,t=tuser --print --execute

4. 增加索引

代码语言:javascript复制
pt-online-schema-change --user=root --password=root --alter "add index idx_id_card(id_card)" D=test,t=tuser --print --execute

5. 修改存储引擎、碎片整理

代码语言:javascript复制
pt-online-schema-change --user=root --password=root --alter "engine=innodb" D=test,t=tuser –execute

一些思考

在之前研究pt-osc的时候,思考过这么一个问题,我们知道在执行过程中会在原表上建立触发器,当有业务update原表时,触发器会在临时表上同样进行update,那如果此时原表上要update的数据还没有copy到临时表该怎么办呢?

后来了解到,在原表update时,临时表上采用的是replace into的方式调整数据,replace into和insert功能不太一样,replace into会先尝试插入数据到表中,如果发现表中已经有此行数据,则先删除再插入,否则直接插入。所以这也要求每张表必须有主键或者唯一索引,不然有可能会出现数据重复的情况。

0 人点赞