环境
- 操作系统:CentOS 7
- Mysql版本:Mysql8
- Mycat版本:Mycat1.6.7.6
全局序列号(sequence)
数据切分后,原有的关系数据库中的主键约束在分布式条件下将无法使用,因此需要引入外部机制保证数据 唯一性标识,这种保证全局性的数据唯一标识的机制就是全局序列号(sequence),因此一般全局序列号用于分表情况
全局序列号介绍
在实现分库分表的情况下,数据库自增主键已无法保证自增主键的全局唯一。为此,MyCat提供了全局sequence,并且提供了包含本地配置和数据库配置等多种实现方式。
1.本地文件方式
原理: 此方式MyCAT将sequence配置到文件中,当使用到sequence中的配置后,MyCAT会更下 classpath中的sequence_conf.properties文件中sequence当前的值。 配置方式: 在 sequence_conf.properties 文件中做如下配置:
代码语言:javascript复制GLOBAL_SEQ.HISIDS= GLOBAL_SEQ.MINID=1001
GLOBAL_SEQ.MAXID=1000000000
GLOBAL_SEQ.CURID=1000
其中 HISIDS 表示使用过的历史分段(一般无特殊需要可不配置),MINID表示最小ID值,MAXID表示最大ID值,CURID表示当前ID值。 server.xml 中配置:
代码语言:javascript复制<system>
<property name="sequnceHandlerType">0</property>
</system>
注:sequnceHandlerType 需要配置为 0,表示使用本地文件方式。 使用示例:
代码语言:javascript复制insert into table1(id,name) values('next value for MYCATSEQ_GLOBAL','test');
函数:next value for MYCATSEQ_GLOBAL 会在下面数据库模式讲到 缺点: 当 MyCAT 重新发布后,配置文件中的 sequence 会恢复到初始值。 优点:本地加载,读取速度较快。
2.数据库方式
原理: 在数据库中建立一张表,存放 sequence 名称(name),sequence 当前值(current_value),步长(increment int类型每次读取多少个sequence,假设为K)等信息 Sequence获取步骤: 1. 当初次使用该sequence时,根据传入的sequence名称,从数据库这张表中读取current_value,和increment到MyCat中,并将数据库中的current_value设置为原 current_value值 increment值。 2. MyCat将读取到current_value increment作为本次要使用的sequence值,下次使用时,自动加1,当使用 increment次后,执行步骤1)相同的操作。 3. MyCat负责维护这张表,用到哪些sequence,只需要在这张表中插入一条记录即可。若某次读取的sequence 没有用完,系统就停掉了,则这次读取的sequence剩余值不会再使用 配置方式: server.xml 配置:
代码语言:javascript复制<system>
<property name="sequnceHandlerType">1</property>
</system>
注:sequnceHandlerType 需要配置为1,表示使用数据库方式生成sequence 数据库配置: 1. 创建 MYCAT_SEQUENCE 表
代码语言:javascript复制CREATE TABLE MYCAT_SEQUENCE (NAME VARCHAR(50) NOT NULL,current_value INT NOT
NULL,increment INT NOT NULL DEFAULT 100, PRIMARY KEY(NAME)) ENGINE=INNODB;
- 创建相关函数
#获取当前 sequence 的值 (返回当前值,增量)
#注意!此处后面加空格加两个美元符号,编辑器显示!如:DELIMITER 空格 美元符号1美元符号2,END后面同理,以下三个函数同理
DELIMITER CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS VARCHAR(64)
DETERMINISTIC
BEGIN
DECLARE retval VARCHAR(64);
SET retval="-999999999,null";
SELECT CONCAT(CAST(current_value AS CHAR),",",CAST(increment AS CHAR)) INTO retval FROM
MYCAT_SEQUENCE WHERE NAME = seq_name;
RETURN retval;
END
DELIMITER ;
#设置sequence值
DELIMITER CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),VALUE INTEGER) RETURNS
VARCHAR(64)
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE SET current_value = VALUE
WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END
DELIMITER ;
#获取下一个sequence值
DELIMITER CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS VARCHAR(64)
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = current_value increment WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END
DELIMITER ;
初始化一个值
代码语言:javascript复制#初始化序列表记录
INSERT INTO MYCAT_SEQUENCE(NAME,current_value,increment) VALUES ('GLOBAL', 100,100);
此时情况如下图
- sequence_db_conf.properties相关配置,指定 sequence 相关配置在哪个节点上: 例如,上图中mycat_sequence中有一条数据的NAME值为GLOBAL sequence_db_conf.properties配置如下,配置中的dn1,根据自己实际schema.xml中配置的主机对应的节点! GLOBAL=dn1 注意: MYCAT_SEQUENCE表和以上的3个function,需要放在同一个节点上。function请直接在具体节点的数据库上执行,如果执行的时候报: you might want to use the less safe log_bin_trust_function_creators variable 需要对数据库做如下设置:
– windows下 my.ini[mysqld]加上 log_bin_trust_function_creators=1 – linux下/etc/my.cnf 下 my.ini[mysqld]加上 log_bin_trust_function_creators=1
修改完后,即可在mysql数据库中执行上面的函数。 使用示例:
代码语言:javascript复制insert into table1(id,name) values('next value for MYCATSEQ_GLOBAL',"testName");
注意: next value for MYCATSEQ_GLOBAL函数亲测1.6.7需要添加单引号!单引号不能省略!否则无法识别函数!
函数使用格式:next value for MYCATSEQ_ MYCAT_SEQUENCE表中NAME的值
本地时间戳方式
ID=64位二进制(42(毫秒) 5(机器 ID) 5(业务编码) 12(重复累加)换算成十进制为18位数的long类型,每毫秒可以并发 12 位二进制的累加。 使用方式: 1. 配置 server.xml
代码语言:javascript复制<property name="sequnceHandlerType">2</property>
- 在mycat下配置:sequence_time_conf.properties WORKID=0-31 任意整 DATAACENTERID=0-31 任意整数 多个个 mycat 节点下每个 mycat 配置的 WORKID,DATAACENTERID 不同,组成唯一标识,总共支持32*32=1024 种组合。 ID 示例:5676308347551
分布式ZK ID生成器
配置server.xml
代码语言:javascript复制<property name="sequnceHandlerType">3</property>
Zk的连接信息统一在myid.properties的zkURL属性中配置。 基于ZK与本地配置的分布式ID生成器(可以通过 ZK 获取集群(机房)唯一 InstanceID,也可以通过配置文 件配置 InstanceID) ID 结构:long 64 位,ID 最大可占 63 位 * |current time millis(微秒时间戳 38 位,可以使用 17 年)|clusterId(机房或者 ZKid,通过配置文件配置 5 位)|instanceId(实例 ID,可以通过 ZK 或者配置文件获取,5 位)|threadId(线程 ID,9 位) |increment(自增,6 位) * 一共 63 位,可以承受单机房单机器单线程 1000(2^6)=640000 的并发。 * 一共 63 位,可以承受单机房单机器单线程 1000(2^7)=1280000 的并发。 * 无悲观锁,无强竞争,吞吐量更高 配置文件:sequence_distributed_conf.properties,只要配置里面:INSTANCEID=ZK 就是从 ZK 上获取 InstanceID。
Zk递增方式
配置server.xml
代码语言:javascript复制<property name="sequnceHandlerType">4</property>
Zk的连接信息统一在myid.properties 的zkURL属性中配置 * 配置文件:sequence_conf.properties * 只要配置好ZK地址和表名的如下属性 * TABLE.MINID 某线程当前区间内最小值 * TABLE.MAXID 某线程当前区间内最大值 * TABLE.CURID 某线程当前区间内当前值 * 文件配置的 MAXID 以及 MINID 决定每次取得区间,这个对于每个线程或者进程都有效 * 文件中的这三个属性配置只对第一个进程的第一个线程有效,其他线程和进程会动态读取ZK
其他方式
- 使用catelet注解方式 /*!mycat:catlet=demo.catlets.BatchGetSequence */SELECT mycat_get_seq(‘GLOBAL’,100); 注:此方法表示获取 GLOBAL 的 100 个 sequence 值,例如当前 GLOBAL 的最大 sequence 值为 5000, 则通过此方式返回的是 5001,同时更新数据库中的 BLOBAL 的最大 sequence 值为 5100。
- 利用zookeeper方式实现…
自增长主键方式
说明: 1. mysql 本身对非自增长主键,使用 last_insert_id()是不会返回结果的,只会返回 0; 2. mysql 只会对定义自增长主键,可以用 last_insert_id()返回主键值; 3. MyCAT目前提供了自增长主键功能,但是如果对应的mysql节点上数据表,没有定义auto_increment,那么在 MyCAT层调用last_insert_id()也是不会返回结果的。 正确的配置方式 1. 首先你的表需要有自增ID主键 2. 在mycat配置文件schema.xml中配置
代码语言:javascript复制 <table name="talbeName" primaryKey="id" autoIncrement="true" dataNode="dn1" subTables="talbeName$0-10" rule="modRuleName"></table>
主要是添加primaryKey=”id” autoIncrement=”true” 这两个属性 3. 在MYCAT_SEQUENCE表中,添加记录值,这里操作同数据库模式中,但是添加的记录值需要时schema.xml配置中table标签中的name值的全部大写 例如:name=”talbeName”,那么MYCAT_SEQUENCE表中NAME值应该是:TABLENAME 4. 修改mycat对应 sequence_db_conf.properties 增加相应设置,这一步同数据库模式,如下 TABLENAME=dn1
完成所有配置后不要忘记重启mycat服务!
最后
作者在测试使用数据库模式时,会遇到1062问题,即mysql在插入一条数据是报自增主键值已存在,多次测试均会出现,目前mycat官方社区还没有回复这个问题,不知道是不是1.6.7版本的问题 第一次测试写入93条数据,出现了20次 第二次测试写入722条数据,636条成功写入,86条同样的原因失败 作者最后使用的是自增长主键方式,暂时没有出现1062问题