INNODB自增主鍵的一些問題 vs mysql獲得自增字段下一個值
今天發現 批量插入下，自增主鍵不連續了。。。。。。。
InnoDB AUTO_INCREMENT Lock Modes
This section describes the behavior of AUTO_INCREMENT lock modes used to generate auto-increment values, and how each lock mode affects replication. Auto-increment lock modes are configured at startup using the innodb_autoinc_lock_mode
來自
https://dev.mysql.com/doc/refman/5.7/en/innodb-auto-increment-handling.html
背景：
自增長是一個很常見的數據屬性，在MySQL中大家都很願意讓自增長屬性的字段當一個主鍵。特別是InnoDB，因為InnoDB的聚集索引的特性，使用自增長屬性的字段當主鍵性能更好，這裏要說明下自增主鍵需要註意的幾個事項。
問題一：表鎖
在MySQL5.1.22之前，InnoDB自增值是通過其本身的自增長計數器來獲取值，該實現方式是通過表鎖機制來完成的（AUTO-INC LOCKING）。鎖不是在每次事務完成後釋放，而是在完成對自增長值插入的SQL語句後釋放，要等待其釋放才能進行後續操作。比如說當表裏有一個auto_increment字段的時候，innoDB會在內存裏保存一個計數器用來記錄auto_increment的值，當插入一個新行數據時，就會用一個表鎖來鎖住這個計數器，直到插入結束。如果大量的並發插入，表鎖會引起SQL堵塞。
在5.1.22之後，InnoDB為了解決自增主鍵鎖表的問題，引入了參數innodb_autoinc_lock_mode，該實現方式是通過輕量級互斥量的增長機制完成的。它是專門用來在使用auto_increment的情況下調整鎖策略的，目前有三種選擇：
插入類型說明：
INSERT-LIKE：指所有的插入語句，比如 INSERT、REPLACE、INSERT…SELECT、REPLACE…SELECT,LOAD DATA等 Simple inserts：指在插入前就能確定插入行數的語句，包括INSERT、REPLACE，不包含INSERT…ON DUPLICATE KEY UPDATE這類語句。 Bulk inserts：指在插入前不能確定得到插入行的語句。如INSERT…SELECT,REPLACE…SELECT,LOAD DATA. Mixed-mode inserts:指其中一部分是自增長的，有一部分是確定的。
0：通過表鎖的方式進行，也就是所有類型的insert都用AUTO-inc locking。
1：默認值，對於simple insert 自增長值的產生使用互斥量對內存中的計數器進行累加操作，對於bulk insert 則還是使用表鎖的方式進行。
2：對所有的insert-like 自增長值的產生使用互斥量機制完成，性能最高，並發插入可能導致自增值不連續，可能會導致Statement 的 Replication 出現不一致，使用該模式，需要用 Row Replication的模式。
在mysql5.1.22之前，mysql的INSERT-LIKE語句會在執行整個語句的過程中使用一個AUTO-INC鎖將表鎖住，直到整個語句結束（而不是事務結束）。因此在使用INSERT…SELECT、INSERT…values(…),values(…)時，LOAD DATA等耗費時間較長的操作時，會將整個表鎖住，而阻塞其他的insert-like,update等語句。推薦使用程序將這些語句分成多條語句，一一插入，減少單一時間的鎖表時間。
解決：
通過參數innodb_autoinc_lock_mode =1/2解決，並用simple inserts 模式插入。
問題二：自增主鍵不連續
5.1.22後 默認：innodb_autoinc_lock_mode = 1
直接通過分析語句，獲得要插入的數量，然後一次性分配足夠的auto_increment id，只會將整個分配的過程鎖住。
[email protected] : test 04:23:28>show variables like ‘innodb_autoinc_lock_mode‘;
+--------------------------+-------+
| Variable_name | Value |
+--------------------------+-------+
| innodb_autoinc_lock_mode | 1 |
+--------------------------+-------+
1 row in set (0.00 sec)
[email protected] : test 04:23:31>create table tmp_auto_inc(id int auto_increment primary key,talkid int)engine = innodb default charset gbk;
Query OK, 0 rows affected (0.16 sec)
[email protected] : test 04:23:35>insert into tmp_auto_inc(talkid) select talkId from talk_dialog limit 10;
Query OK, 10 rows affected (0.00 sec)
Records: 10 Duplicates: 0 Warnings: 0
[email protected] : test 04:23:39>show create table tmp_auto_inc\G;
*************************** 1. row ***************************
Table: tmp_auto_inc
Create Table: CREATE TABLE `tmp_auto_inc` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`talkid` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=16 DEFAULT CHARSET=gbk
1 row in set (0.00 sec)
插入10條記錄，但表的AUTO_INCREMENT=16，再插入一條的時候，表的自增id已經是不連續了。
原因：
參數innodb_autoinc_lock_mode = 1時，每次會“預申請”多余的id(handler.cc:compute_next_insert_id)，而insert執行完成後，會特別將這些預留的id空出，就是特意將預申請後的當前最大id回寫到表中(dict0dict.c:dict_table_autoinc_update_if_greater)。
這個預留的策略是“不夠時多申請幾個”， 實際執行中是分步申請。至於申請幾個，是由當時“已經插入了幾條數據N”決定的。當auto_increment_offset＝1時，預申請的個數是 N-1。
所以會發現：插入只有1行時，你看不到這個現象，並不預申請。而當有N>1行時，則需要。多申請的數目為N-1，因此執行後的自增值為：1+N+(N-1)。測試中為10行，則：1+10+9 =20，和 16不一致？原因是：當插入8行的時候，表的AUTO_INCREMENT已經是16了，所以插入10行時，id已經在第8行時預留了，所以直接使用，自增值仍為16。所以當插入8行的時候，多申請了7個id，即：9，10，11，12，13，14，15。按照例子中的方法插入8~15行，表的AUTO_INCREMENT始終是16
驗證：
插入16行：猜測 預申請的id：1+16+（16-1）= 32，即：AUTO_INCREMENT=32
[email protected] : test 04:55:45>create table tmp_auto_inc(id int auto_increment primary key,talkid int)engine = innodb default charset gbk;
Query OK, 0 rows affected (0.17 sec)
[email protected] : test 04:55:48>insert into tmp_auto_inc(talkid) select talkId from sns_talk_dialog limit 16;
Query OK, 16 rows affected (0.00 sec)
Records: 16 Duplicates: 0 Warnings: 0
[email protected] : test 04:55:50>show create table tmp_auto_inc\G;
*************************** 1. row ***************************
Table: tmp_auto_inc
Create Table: CREATE TABLE `tmp_auto_inc` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`talkid` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=32 DEFAULT CHARSET=gbk
1 row in set (0.00 sec)
和猜測的一樣，自增id到了32。所以當插入16行的時候，多申請了17,18,19...,31 。
所以導致ID不連續的原因是因為innodb_autoinc_lock_mode = 1時，會多申請id。好處是：一次性分配足夠的auto_increment id，只會將整個分配的過程鎖住。
5.1.22前 默認：innodb_autoinc_lock_mode = 0
[email protected] : test 04:25:12>show variables like ‘innodb_autoinc_lock_mode‘;
+--------------------------+-------+
| Variable_name | Value |
+--------------------------+-------+
| innodb_autoinc_lock_mode | 0 |
+--------------------------+-------+
1 row in set (0.00 sec)
[email protected] : test 04:25:15>create table tmp_auto_inc(id int auto_increment primary key,talkid int)engine = innodb default charset gbk;
Query OK, 0 rows affected (0.17 sec)
[email protected] : test 04:25:17>insert into tmp_auto_inc(talkid) select talkId from talk_dialog limit 10;
Query OK, 10 rows affected (0.00 sec)
Records: 10 Duplicates: 0 Warnings: 0
[email protected] : test 04:25:21>show create table tmp_auto_inc\G;
*************************** 1. row ***************************
Table: tmp_auto_inc
Create Table: CREATE TABLE `tmp_auto_inc` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`talkid` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=11 DEFAULT CHARSET=gbk
1 row in set (0.00 sec)
INNODB自增主鍵的一些問題 vs mysql獲得自增字段下一個值