技术译文 | MySQL 8.x DDL 和查询重写插件

2020-08-17 16:03:47 浏览数 (1)

作者：Sri Sakthivel

翻译：管长龙

本文来源：https://www.percona.com/blog/2020/08/07/mysql-8-x-ddl-rewriter-and-query-rewriter-plugins-implementation-and-use-cases/

对 MySQL 查询重写以提高性能是每个 DBA 应该意识到的重要过程，以便他们可以在运行时修复错误的查询，而无需在应用程序端更改代码。

到目前为止，MySQL 社区提供了两个内置的查询重写插件来执行此任务。

  • query rewriter plugin：它支持 INSERT / UPDATE / DELETE / REPLACE 语句，在 MySQL 8.0.12 引入。
  • ddl_rewritter plugin：它支持 CREATE TABLE 语句。在 MySQL 8.0.16 引入。

本文将解释实现和插件测试的完整过程。该测试基于 MySQL 8.x 功能。

一、查询重写插件

该插件将有助于修改服务器在执行之前接收到的 SQL 语句。在 MySQL 8.0.12 之前，该插件仅支持 SELECT。从 MySQL 8.0.12 起，该插件还支持 INSERT / UPDATE / DELETE / REPLACE。

1.1 准备环境

有两个 SQL 文件可以执行安装和卸载操作。这些文件位于共享目录下。

代码语言：javascript复制
mysql> show global variables like 'lc_messages_dir';
 ----------------- ---------------------------- 
| Variable_name   | Value                      |
 ----------------- ---------------------------- 
| lc_messages_dir | /usr/share/percona-server/ |
 ----------------- ---------------------------- 
1 row in set (0.01 sec)

[root@hercules7sakthi3 ~]# cd /usr/share/mysql-8.0/
[root@hercules7sakthi3 mysql-8.0]# ls -lrth | grep -i rewriter
-rw-r--r--. 1 root root 1.3K Mar 26 14:16 uninstall_rewriter.sql
-rw-r--r--. 1 root root 2.2K Mar 26 14:16 install_rewriter.sql
  • 我们可以在运行时实现重写器插件；
  • 加载 SQL 文件 "install_rewritter.sql" 时，它将安装插件 "rewriter.so"，并为操作创建其自己的数据库，表和函数。

通过加载安装程序SQL文件来安装插件：

代码语言：javascript复制
[root@hercules7sakthi3 mysql-8.0]# mysql -vv < install_rewriter.sql | grep -i 'create|install|drop'
CREATE DATABASE IF NOT EXISTS query_rewrite
CREATE TABLE IF NOT EXISTS query_rewrite.rewrite_rules (
INSTALL PLUGIN rewriter SONAME 'rewriter.so'
CREATE FUNCTION load_rewrite_rules RETURNS STRING
CREATE PROCEDURE query_rewrite.flush_rewrite_rules()

mysql> show schemas like 'query_rewrite';
 -------------------------- 
| Database (query_rewrite) |
 -------------------------- 
| query_rewrite            |
 -------------------------- 
1 row in set (0.00 sec)

mysql> show tables from query_rewrite;
 ------------------------- 
| Tables_in_query_rewrite |
 ------------------------- 
| rewrite_rules           |
 ------------------------- 
1 row in set (0.05 sec)

mysql> show create table query_rewrite.rewrite_rulesG
*************************** 1. row ***************************
       Table: rewrite_rules
Create Table: CREATE TABLE `rewrite_rules` (
  `id` int NOT NULL AUTO_INCREMENT,
  `pattern` varchar(5000) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL,
  `pattern_database` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL,
  `replacement` varchar(5000) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL,
  `enabled` enum('YES','NO') CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT 'YES',
  `message` varchar(1000) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL,
  `pattern_digest` varchar(64) DEFAULT NULL,
  `normalized_pattern` varchar(100) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
1 row in set (0.00 sec)

mysql> select plugin_name,plugin_status, plugin_version from information_schema.plugins where plugin_name='Rewriter';
 ------------- --------------- ---------------- 
| plugin_name | plugin_status | plugin_version |
 ------------- --------------- ---------------- 
| Rewriter    | ACTIVE        | 0.2            |
 ------------- --------------- ---------------- 
1 row in set (0.00 sec)

1.2 测试案例

创建表 qrw8012，并做了一些记录以供测试。

代码语言：javascript复制
mysql> show create table qrw8012G
*************************** 1. row ***************************
       Table: qrw8012
Create Table: CREATE TABLE `qrw8012` (
  `id` int NOT NULL AUTO_INCREMENT,
  `name` varchar(16) DEFAULT NULL,
  `dob` date DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_name` (`name`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
1 row in set (0.00 sec)

mysql> select * from qrw8012;
 ---- -------- ------------ 
| id | name   | dob        |
 ---- -------- ------------ 
|  1 | jc     | 0001-01-01 |
|  2 | sriram | 1993-06-17 |
|  3 | vijaya | 1969-11-23 |
|  4 | durai  | 1963-10-19 |
|  5 | asha   | 1992-06-26 |
|  6 | sakthi | 1992-07-13 |
 ---- -------- ------------ 
6 rows in set (0.00 sec)

1.3 需求描述

要求是将 name 列从 sakthi 更新为 hercules7sakthi，其中 id =6。来自应用程序的 UPDATE 查询如下所示：

代码语言：javascript复制
update qrw8012 set name='hercules7sakthi' where LOWER(name)='sakthi';

从数据库的角度来看，所有的行都仅使用小写字母进行更新。因此，这里不需要 LOWER 功能。同样，在 WHERE 子句列上使用 LOWER 函数将隐藏该特定列的索引。在我们的例子中，查询将扫描整个表（FTS）。

代码语言：javascript复制
mysql> show create table qrw8012G
    ……
  KEY `idx_name` (`name`)
    ……
1 row in set (0.18 sec)

mysql> explain select * from qrw8012 where LOWER(name)='sakthi'G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: qrw8012
   partitions: NULL
         type: ALL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 6
     filtered: 100.00
        Extra: Using where
1 row in set, 1 warning (0.00 sec)

它将进行全表扫描（FTS）。

注意：出于分析目的，我已将 UPDATE 转换为 SELECT。

在上面的示例中，name 列有索引。但是，它仍然不能与 LOWER 功能一起使用。如果删除 LOWER 函数，则索引可用。让我们看看如何使用查询重写插件解决此问题。

第一步，我需要更新 rewrite_rules 表中的查询规则。以下是更新查询规则时要遵循的关键点。

  • 我们必须使用查询摘要输出来配置查询规则；
  • 修改规则表后，我们始终需要调用函数 flush_rewrite_rules；
  • 如果错误地配置了查询规则，则会收到错误消息 "ERROR 1644（45000）：某些规则加载失败。" 在刷新函数调用期间；
  • 我们可以检查警告消息以了解是否应用了查询规则。
代码语言：javascript复制
mysql> insert into rewrite_rules
    -> (id,pattern_database,pattern,replacement) values
    -> (1,'percona','update qrw8012 set name = ? where LOWER(name) = ?','update qrw8012 set name = ? where name = ?');
Query OK, 1 row affected (0.01 sec)

mysql> call query_rewrite.flush_rewrite_rules();
Query OK, 1 row affected (0.03 sec)

mysql> select id,pattern_database,pattern,replacement from rewrite_rulesG
*************************** 1. row ***************************
              id: 1
pattern_database: percona
         pattern: update qrw8012 set name = ? where LOWER(name) = ?
     replacement: update qrw8012 set name = ? where name = ?
1 row in set (0.00 sec)

我配置了查询规则，因此现在执行查询。

代码语言：javascript复制
mysql> update qrw8012 set name='hercules7sakthi' where LOWER(name)='sakthi';
Query OK, 1 row affected, 1 warning (0.02 sec)
Rows matched: 1  Changed: 1  Warnings: 1

mysql> show warningsG
*************************** 1. row ***************************
  Level: Note
   Code: 1105
Message: Query 'update qrw8012 set name='hercules7sakthi' where LOWER(name)='sakthi'' rewritten to 'update qrw8012 set name = 'hercules7sakthi' where name = 'sakthi'' by a query rewrite plugin
1 row in set (0.00 sec)

Output from general log :

2020-06-22T11:20:36.952153Z   22 Query update qrw8012 set name = 'hercules7sakthi' where name = 'sakthi'

要卸载该插件，您必须加载 SQL 文件 uninstall_rewriter.sql 。它将删除数据库，功能并卸载插件。

代码语言：javascript复制
[root@hercules7sakthi3 mysql]# cat /usr/share/mysql-8.0/uninstall_rewriter.sql
...
...
DROP DATABASE IF EXISTS query_rewrite;
DROP FUNCTION load_rewrite_rules;
UNINSTALL PLUGIN rewriter;

二、DDL 重写插件

MySQL 社区团队在 MySQL 8.0.16 中引入了 ddl_rewriter 插件。该插件可用于修改服务器接收的 CREATE TABLE 语句。该插件将从 CREATE TABLE 语句中删除以下子句。

  • ENCRYPTION
  • DATA DIRECTORY
  • INDEX DIRECTORY

2.1 环境准备

使用 安装插件命令配置插件。

代码语言：javascript复制
mysql> install plugin ddl_rewriter soname 'ddl_rewriter.so';
Query OK, 0 rows affected (0.04 sec)

mysql> select plugin_name,plugin_status, plugin_version from information_schema.plugins where plugin_name like '�l%';
 -------------- --------------- ---------------- 
| plugin_name  | plugin_status | plugin_version |
 -------------- --------------- ---------------- 
| ddl_rewriter | ACTIVE        | 1.0            |
 -------------- --------------- ---------------- 
1 row in set (0.01 sec)

一旦安装了 ddl_rewriter，就可以使用 --ddl-rewriter 选项进行后续服务启动，以控制 ddl_rewriter 插件的激活。例如，要禁用该功能：

代码语言：javascript复制
[mysqld]
ddl-rewriter = OFF

2.2 测试案例

不使用 ENCRYPTION，DATA DIRECTORY 和 INDEX DIRECTORY 将表结构从源迁移到目标。

2.3 需求描述

两个 MySQL 环境，分别称为“源”和“目标”。在源环境中，所有的表都配置了加密，并且某些表具有不同的数据合索引目录。

需要将表 ddl_rwtest ，从源迁移到目标。该表具有加密功能，并且具有不同的数据和索引目录。不需要在目的地进行加密以及将数据和索引目录分开。

从源头来看，表结构如下所示：

代码语言：javascript复制
create table ddl_rwtest
(id int primary key, name varchar(16),dob date,msg text)
ENCRYPTION='Y'
DATA DIRECTORY = '/mysql/data'
INDEX DIRECTORY = '/mysql/index';

过程

在第一步中，启用了 ddl_rewriter 插件，如实现部分所示。现在，将使用相同的 SQL 命令加载结构。

代码语言：javascript复制
mysql> create table ddl_rwtest
    -> (id int primary key, name varchar(16),dob date,msg text)
    -> ENCRYPTION='Y'
    -> DATA DIRECTORY = '/mysql/data'
    -> INDEX DIRECTORY = '/mysql/index';
Query OK, 0 rows affected, 1 warning (0.08 sec)

mysql> show warningsG
*************************** 1. row ***************************
  Level: Note
   Code: 1105
Message: Query 'create table ddl_rwtest
(id int primary key, name varchar(16),dob date,msg text)
ENCRYPTION='Y'
DATA DIRECTORY = '/mysql/data'
INDEX DIRECTORY = '/mysql/index'' rewritten to 'create table ddl_rwtest
(id int primary key, name varchar(16),dob date,msg text) ' by a query rewrite plugin
1 row in set (0.00 sec)

mysql> show create table ddl_rwtestG
*************************** 1. row ***************************
       Table: ddl_rwtest
Create Table: CREATE TABLE `ddl_rwtest` (
  `id` int NOT NULL,
  `name` varchar(16) DEFAULT NULL,
  `dob` date DEFAULT NULL,
  `msg` text,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
1 row in set (0.01 sec)

从上面的日志中，ddl_rewriter 插件已从我的 SQL 命令中删除了那些加密和数据/索引目录。您可以验证警告消息以确认这一点。

该插件将真正帮助使用逻辑备份进行大规模数据结构迁移。

结论

MySQL 社区团队正在积极地进行 Query rewrite 插件的开发，因为我们有一个来自 MySQL 8.0.16 的新的 DDL rewriter 插件。目前，该插件仅支持 CREATE TABLE 语句，期待其他 DDL 语句的更多功能和支持。

云数据库SQLServer 云推荐引擎 腾讯云测试服务 sql 数据库

0 人点赞