Mycat快速入門(三): 全域性序列號
一： 簡介
在實現分庫分表的情況下，資料庫自增主鍵已無法保證自增主鍵的全域性唯一。為此，MyCat 提供了全域性 sequence，並且提供了包含本地配置和資料庫配置等多種實現方式。
二: sequnceHandlerType
序列號處理器型別，感覺“sequnce” 序列號是不是少了個e字母，應該是“sequence”
- 0: 本地檔案方式(sequence_conf.properties)
- 1: 資料庫方式(MYCAT_SEQUENCE表、sequence_db_conf.properties)
- 2: 本地時間戳方式(sequence_time_conf.properties)
- 3: 分散式ZK ID生成器
- 4: ZK遞增方式
關於全域性序列號的測試是在Mycat分庫分表案例基礎上進行測試的，所以先要搭建好分庫分表。
三：本地檔案方式
此方式MyCAT將sequence配置到檔案中，當使用到sequence中的配置後，MyCAT會更下classpath中的sequence_conf.properties檔案中sequence當前的值。
-
server.xml增加sequnceHandlerType屬性
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mycat:server SYSTEM "server.dtd"><mycat:server xmlns:mycat="http://io.mycat/"> <system> <!-- sequnceHandlerType需要配置為0，表示使用本地檔案方式 --> <property name="sequnceHandlerType">0</property> </system> </mycat:server> -
schema.xml
schema.xml和分庫分表案例完全一致，請移步Mycat分庫分表案例 -
sequence_conf.properties
#default global sequence GLOBAL.HISIDS= GLOBAL.MINID=10001 GLOBAL.MAXID=20000 GLOBAL.CURID=10000 # self define sequence # 每個表定義一個，可以定義多個，ORDER是字首，一般為表名，在插入資料時會使用到字首 ORDER.HISIDS= ORDER.MINID=1001 ORDER.MAXID=2000 ORDER.CURID=1000HISIDS 表示使用過的歷史分段(一般無特殊需要可不配置)，
MINID 表示最小 ID 值，
MAXID 表示最大ID 值，
CURID 表示當前 ID 值。 -
重啟mycat
~ bin/mycat restart -
測試
mysql -h 127.0.0.1 -P8066 -uroot -proot123 mysql> show databases; mysql> CREATE TABLE `tbl_order` ( `id` bigint(20) NOT NULL, `order_code` varchar(25) DEFAULT NULL, `user_id` bigint(20) DEFAULT NULL, `amount` bigint(20) DEFAULT NULL, `create_time` datetime DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; -- 可以使用全域性的，也可以使用自定義的，MYCATSEQ_字首 mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_ORDER, '20181027160000000001', 1, 100); mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_ORDER, '20181027160000000002', 2, 200); mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_ORDER, '20181027160000000003', 3, 300); mysql> select * from tbl_order;
mycat/conf/sequence_conf.properties 會實時更新CURID當前 ID 值
-
缺點:“當MyCAT重新發布後，配置檔案中的sequence會恢復到初始值”(來自Mycat權威指南)。沒有理解"MyCAT重新發布"說的是什麼意思，是重新啟動mycat嗎？還是直接升級Mycat？經測試mycat重啟後不會恢復到初始值，還會在ORDER.CURID值的基礎上繼續遞增，如果升級mycat了，那sequence_conf.properties配置檔案都覆蓋了，肯定從初始值開始，要麼重新修改一下CURID的值，如果升級要修改這個配置，感覺還是有點麻煩，個人感覺還是有點侷限。
-
優點:本地載入，讀取速度較快。
四：資料庫方式
原理
在資料庫中建立一張表，存放sequence名稱(name)，sequence當前值(current_value)，步長(increment int 型別每次讀取多少個 sequence，假設為 K)等資訊;
Sequence獲取步驟
- 當初次使用該sequence時，根據傳入的sequence名稱，從資料庫這張表中讀取current_value和increment到MyCat中，並將資料庫中的current_value設定為原current_value值+increment值。
- MyCat將讀取到current_value+increment作為本次要使用的sequence值，下次使用時，自動加1，當使用increment次後，執行步驟 1)相同的操作。
MyCat 負責維護這張表，用到哪些 sequence，只需要在這張表中插入一條記錄即可。若某次讀取的sequence沒有用完，系統就停掉了，則這次讀取的sequence剩餘值不會再使用。
操作步驟
-
資料庫操作
注意:MYCAT_SEQUENCE 表和以上的3個function需要放在同一個節點上,這裡我放在172.16.128.152節點上執行的。
mysql> CREATE TABLE MYCAT_SEQUENCE( name VARCHAR(50) NOT NULL COMMENT 'sequence名稱', current_value INT NOT NULL COMMENT '當前value', increment INT NOT NULL DEFAULT 100 COMMENT '增長步長', PRIMARY KEY(name) ) ENGINE=InnoDB; -- 可以每個表插入一條資料，name一般為表名 mysql> INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES ('GLOBAL', 100000, 100); mysql> select * from MYCAT_SEQUENCE; -- 獲取當前 sequence 的值 (返回當前值,增量) mysql> DROP FUNCTION IF EXISTS mycat_seq_currval; mysql> DELIMITER $$ mysql> CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf8 DETERMINISTIC BEGIN DECLARE retval VARCHAR(64); SET retval= '-999999999,null'; SELECT concat(CAST(current_value AS CHAR), ',', CAST(increment AS CHAR)) INTO retval FROM MYCAT_SEQUENCE WHERE name = seq_name; RETURN retval; END $$ mysql> DELIMITER ; -- 設定sequence值 mysql> DROP FUNCTION IF EXISTS mycat_seq_setval; mysql> DELIMITER $$ mysql> CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50), value INTEGER) RETURNS varchar(64) CHARSET utf8 DETERMINISTIC BEGIN UPDATE MYCAT_SEQUENCE SET current_value = value WHERE name = seq_name; RETURN mycat_seq_currval(seq_name); END $$ mysql> DELIMITER ; -- 獲取下一個 sequence 值 mysql> DROP FUNCTION IF EXISTS mycat_seq_nextval; mysql> DELIMITER $$ CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf8 DETERMINISTIC BEGIN UPDATE MYCAT_SEQUENCE SET current_value = current_value + increment WHERE name = seq_name; RETURN mycat_seq_currval(seq_name); END $$ mysql> DELIMITER ; -
server.xml配置
sequnceHandlerType=1 表示使用資料庫方式生成sequence<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server xmlns:mycat="http://io.mycat/"> <system> <!-- sequnceHandlerType=1 表示使用資料庫方式生成sequence --> <property name="sequnceHandlerType">1</property> </system> </mycat:server> -
配置sequence_db_conf.properties
GLOBAL=dataNode1 ORDER=dataNode1 -
重啟mycat
~ bin/mycat restart -
在mycat上測試
mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_GLOBAL, '20181027160000000001', 1, 100); mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_GLOBAL, '20181027160000000002', 2, 200); mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_GLOBAL, '20181027160000000003', 3, 200); mysql> select * from tbl_order where id >=100100;
五：本地時間戳方式
ID=64位二進位制 (42(毫秒)+5(機器ID)+5(業務編碼)+12(重複累加) 換算成十進位制為 18 位數的 long 型別，每毫秒可以併發 12 位二進位制的累加。
-
修改server.xml的配置
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server xmlns:mycat="http://io.mycat/"> <system> <!-- sequnceHandlerType=2 本地時間戳方式 --> <property name="sequnceHandlerType">2</property> </system> </mycat:server> -
sequence_time_conf.properties
可以直接使用預設值#sequence depend on TIME WORKID=01 DATAACENTERID=01WORKID=0-31 任意整數
DATAACENTERID=0-31 任意整數多個個mycat節點下每個 mycat 配置的 WORKID，DATAACENTERID 不同，組成唯一標識，總共支援32*32=1024 種組合。
-
重啟mycat
~ bin/mycat restart -
測試
mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_GLOBAL, '20181027160000000011', 1, 100); mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_GLOBAL, '20181027160000000012', 1, 100); mysql> INSERT INTO tbl_order(id, order_code, user_id, amount)VALUES(next value for MYCATSEQ_GLOBAL, '20181027160000000013', 1, 100); mysql> select * from tbl_order where id > 1000000;
MyCat自增長主鍵和返回生成主鍵id的實現
mysql對定義自增長的主鍵，可以用 last_insert_id()返回主鍵值; MyCAT目前提供了自增長主鍵功能，但是如果對應的mysql節點上資料表，沒有定義 auto_increment，那麼在 MyCAT層呼叫last_insert_id()也是不會返回結果的。
-
設定schemal.xml
設定表的主鍵id和自增<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="testdb" checkSQLschema="false" sqlMaxLimit="100"> <table name="tbl_user" primaryKey="id" autoIncrement="true" dataNode="dataNode1,dataNode2,dataNode3" rule="mod-long"/> </schema> </mycat:schema> -
配置server.xml
這裡id生成使用資料庫方式<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server xmlns:mycat="http://io.mycat/"> <system> <!-- sequnceHandlerType=1 表示使用資料庫方式生成sequence --> <property name="sequnceHandlerType">1</property> </system> </mycat:server> -
設定sequence_db_conf.properties
增加相應的表的設定，注意鍵為表名的大寫#sequence stored in datanode GLOBAL=dataNode1 ORDER=dataNode1 TBL_USER=dataNode1 -
重啟mycat
~ bin/mycat restart -
mycat資料庫操作
-- id主鍵PRIMARY KEY, 自增AUTO_INCREMENT CREATE TABLE `tbl_user` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `username` varchar(20) DEFAULT NULL, `age` tinyint(4) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; -
MYCAT_SEQUENCE表新增記錄
注意：需要在MYCAT_SEQUENCE所在的資料庫節點上插入一條資料，這裡是在172.16.128.152上插入一條資料mysql> INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES ('TBL_USER', 100000, 100); -
mycat上測試
mysql> INSERT INTO tbl_user(username, age) VALUES('mengday', 18); mysql> select last_insert_id(); mysql> INSERT INTO tbl_user(username, age) VALUES('mengdee', 28); mysql> select last_insert_id();
MyBatis插入資料並返回主鍵id自增值
<insert id="insertUser" parameterType="com.mengday.demo.model.User"> INSERT INTO tbl_user(username, age) VALUES(#{username}, #{age}) <selectKey resultType="java.util.Long" order="AFTER" keyProperty="id"> select last_insert_id() as id </selectKey> </insert>