Mycat1.6.7.6全局序列号的使用

2022-10-31 16:18:30 浏览数 (1)

环境

  • 操作系统:CentOS 7
  • Mysql版本:Mysql8
  • Mycat版本:Mycat1.6.7.6

全局序列号(sequence)

数据切分后,原有的关系数据库中的主键约束在分布式条件下将无法使用,因此需要引入外部机制保证数据 唯一性标识,这种保证全局性的数据唯一标识的机制就是全局序列号(sequence),因此一般全局序列号用于分表情况

全局序列号介绍

在实现分库分表的情况下,数据库自增主键已无法保证自增主键的全局唯一。为此,MyCat提供了全局sequence,并且提供了包含本地配置和数据库配置等多种实现方式。

1.本地文件方式

原理: 此方式MyCAT将sequence配置到文件中,当使用到sequence中的配置后,MyCAT会更下 classpath中的sequence_conf.properties文件中sequence当前的值。 配置方式: 在 sequence_conf.properties 文件中做如下配置:

代码语言:javascript复制
GLOBAL_SEQ.HISIDS= GLOBAL_SEQ.MINID=1001
GLOBAL_SEQ.MAXID=1000000000
GLOBAL_SEQ.CURID=1000

其中 HISIDS 表示使用过的历史分段(一般无特殊需要可不配置),MINID表示最小ID值,MAXID表示最大ID值,CURID表示当前ID值。 server.xml 中配置:

代码语言:javascript复制
<system>
    <property name="sequnceHandlerType">0</property>
</system>

注:sequnceHandlerType 需要配置为 0,表示使用本地文件方式。 使用示例:

代码语言:javascript复制
insert into table1(id,name) values('next value for MYCATSEQ_GLOBAL','test');

函数:next value for MYCATSEQ_GLOBAL 会在下面数据库模式讲到 缺点: 当 MyCAT 重新发布后,配置文件中的 sequence 会恢复到初始值。 优点:本地加载,读取速度较快。

2.数据库方式

原理: 在数据库中建立一张表,存放 sequence 名称(name),sequence 当前值(current_value),步长(increment int类型每次读取多少个sequence,假设为K)等信息 Sequence获取步骤: 1. 当初次使用该sequence时,根据传入的sequence名称,从数据库这张表中读取current_value,和increment到MyCat中,并将数据库中的current_value设置为原 current_value值 increment值。 2. MyCat将读取到current_value increment作为本次要使用的sequence值,下次使用时,自动加1,当使用 increment次后,执行步骤1)相同的操作。 3. MyCat负责维护这张表,用到哪些sequence,只需要在这张表中插入一条记录即可。若某次读取的sequence 没有用完,系统就停掉了,则这次读取的sequence剩余值不会再使用 配置方式: server.xml 配置:

代码语言:javascript复制
<system>
    <property name="sequnceHandlerType">1</property>
</system>

注:sequnceHandlerType 需要配置为1,表示使用数据库方式生成sequence 数据库配置: 1. 创建 MYCAT_SEQUENCE 表

代码语言:javascript复制
CREATE TABLE MYCAT_SEQUENCE (NAME VARCHAR(50) NOT NULL,current_value INT NOT
NULL,increment INT NOT NULL DEFAULT 100, PRIMARY KEY(NAME)) ENGINE=INNODB;
  1. 创建相关函数
代码语言:javascript复制
#获取当前 sequence 的值 (返回当前值,增量)
#注意!此处后面加空格加两个美元符号,编辑器显示!如:DELIMITER 空格 美元符号1美元符号2,END后面同理,以下三个函数同理
DELIMITER CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS VARCHAR(64)
DETERMINISTIC 
BEGIN
DECLARE retval VARCHAR(64);
SET retval="-999999999,null";
SELECT CONCAT(CAST(current_value AS CHAR),",",CAST(increment AS CHAR)) INTO retval FROM
MYCAT_SEQUENCE WHERE NAME = seq_name;
RETURN retval;
END
DELIMITER ;
#设置sequence值
DELIMITER CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),VALUE INTEGER) RETURNS 
VARCHAR(64)
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE SET current_value = VALUE
WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END
DELIMITER ;
#获取下一个sequence值
DELIMITER CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS VARCHAR(64) 
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = current_value   increment WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END
DELIMITER ;

初始化一个值

代码语言:javascript复制
#初始化序列表记录
INSERT INTO MYCAT_SEQUENCE(NAME,current_value,increment) VALUES ('GLOBAL', 100,100);

此时情况如下图

  1. sequence_db_conf.properties相关配置,指定 sequence 相关配置在哪个节点上: 例如,上图中mycat_sequence中有一条数据的NAME值为GLOBAL sequence_db_conf.properties配置如下,配置中的dn1,根据自己实际schema.xml中配置的主机对应的节点! GLOBAL=dn1 注意: MYCAT_SEQUENCE表和以上的3个function,需要放在同一个节点上。function请直接在具体节点的数据库上执行,如果执行的时候报: you might want to use the less safe log_bin_trust_function_creators variable 需要对数据库做如下设置:

– windows下 my.ini[mysqld]加上 log_bin_trust_function_creators=1 – linux下/etc/my.cnf 下 my.ini[mysqld]加上 log_bin_trust_function_creators=1

修改完后,即可在mysql数据库中执行上面的函数。 使用示例:

代码语言:javascript复制
insert into table1(id,name) values('next value for MYCATSEQ_GLOBAL',"testName");
注意: next value for MYCATSEQ_GLOBAL函数亲测1.6.7需要添加单引号!单引号不能省略!否则无法识别函数!

函数使用格式:next value for MYCATSEQ_ MYCAT_SEQUENCE表中NAME的值

本地时间戳方式

ID=64位二进制(42(毫秒) 5(机器 ID) 5(业务编码) 12(重复累加)换算成十进制为18位数的long类型,每毫秒可以并发 12 位二进制的累加。 使用方式: 1. 配置 server.xml

代码语言:javascript复制
<property name="sequnceHandlerType">2</property>
  1. 在mycat下配置:sequence_time_conf.properties WORKID=0-31 任意整 DATAACENTERID=0-31 任意整数 多个个 mycat 节点下每个 mycat 配置的 WORKID,DATAACENTERID 不同,组成唯一标识,总共支持32*32=1024 种组合。 ID 示例:5676308347551

分布式ZK ID生成器

配置server.xml

代码语言:javascript复制
<property name="sequnceHandlerType">3</property>

Zk的连接信息统一在myid.properties的zkURL属性中配置。 基于ZK与本地配置的分布式ID生成器(可以通过 ZK 获取集群(机房)唯一 InstanceID,也可以通过配置文 件配置 InstanceID) ID 结构:long 64 位,ID 最大可占 63 位 * |current time millis(微秒时间戳 38 位,可以使用 17 年)|clusterId(机房或者 ZKid,通过配置文件配置 5 位)|instanceId(实例 ID,可以通过 ZK 或者配置文件获取,5 位)|threadId(线程 ID,9 位) |increment(自增,6 位) * 一共 63 位,可以承受单机房单机器单线程 1000(2^6)=640000 的并发。 * 一共 63 位,可以承受单机房单机器单线程 1000(2^7)=1280000 的并发。 * 无悲观锁,无强竞争,吞吐量更高 配置文件:sequence_distributed_conf.properties,只要配置里面:INSTANCEID=ZK 就是从 ZK 上获取 InstanceID。

Zk递增方式

配置server.xml

代码语言:javascript复制
<property name="sequnceHandlerType">4</property>

Zk的连接信息统一在myid.properties 的zkURL属性中配置 * 配置文件:sequence_conf.properties * 只要配置好ZK地址和表名的如下属性 * TABLE.MINID 某线程当前区间内最小值 * TABLE.MAXID 某线程当前区间内最大值 * TABLE.CURID 某线程当前区间内当前值 * 文件配置的 MAXID 以及 MINID 决定每次取得区间,这个对于每个线程或者进程都有效 * 文件中的这三个属性配置只对第一个进程的第一个线程有效,其他线程和进程会动态读取ZK

其他方式

  1. 使用catelet注解方式 /*!mycat:catlet=demo.catlets.BatchGetSequence */SELECT mycat_get_seq(‘GLOBAL’,100); 注:此方法表示获取 GLOBAL 的 100 个 sequence 值,例如当前 GLOBAL 的最大 sequence 值为 5000, 则通过此方式返回的是 5001,同时更新数据库中的 BLOBAL 的最大 sequence 值为 5100。
  2. 利用zookeeper方式实现…

自增长主键方式

说明: 1. mysql 本身对非自增长主键,使用 last_insert_id()是不会返回结果的,只会返回 0; 2. mysql 只会对定义自增长主键,可以用 last_insert_id()返回主键值; 3. MyCAT目前提供了自增长主键功能,但是如果对应的mysql节点上数据表,没有定义auto_increment,那么在 MyCAT层调用last_insert_id()也是不会返回结果的。 正确的配置方式 1. 首先你的表需要有自增ID主键 2. 在mycat配置文件schema.xml中配置

代码语言:javascript复制
        <table name="talbeName" primaryKey="id" autoIncrement="true" dataNode="dn1" subTables="talbeName$0-10" rule="modRuleName"></table>

主要是添加primaryKey=”id” autoIncrement=”true” 这两个属性 3. 在MYCAT_SEQUENCE表中,添加记录值,这里操作同数据库模式中,但是添加的记录值需要时schema.xml配置中table标签中的name值的全部大写 例如:name=”talbeName”,那么MYCAT_SEQUENCE表中NAME值应该是:TABLENAME 4. 修改mycat对应 sequence_db_conf.properties 增加相应设置,这一步同数据库模式,如下 TABLENAME=dn1

完成所有配置后不要忘记重启mycat服务!

最后

作者在测试使用数据库模式时,会遇到1062问题,即mysql在插入一条数据是报自增主键值已存在,多次测试均会出现,目前mycat官方社区还没有回复这个问题,不知道是不是1.6.7版本的问题 第一次测试写入93条数据,出现了20次 第二次测试写入722条数据,636条成功写入,86条同样的原因失败 作者最后使用的是自增长主键方式,暂时没有出现1062问题

0 人点赞