1. 程式人生 > >Mysql--Innodb鎖

Mysql--Innodb鎖

分析 pty 訪問 star *** 表名 方法 持久性 nap

InnoDB與MyISAM的最大不同有兩點:一是支持事務(TRANSACTION);二是采用了行級鎖。行級鎖與表級鎖本來就有許多不同之處,另外,事務的引入也帶來了一些新問題。下面我們先介紹一點背景知識,然後詳細討論InnoDB的鎖問題。

背景知識

事務(Transaction)及其ACID屬性

事務是由一組SQL語句組成的邏輯處理單元,事務具有以下4個屬性,通常簡稱為事務的ACID屬性。

  • 原子性(Atomicity):事務是一個原子操作單元,其對數據的修改,要麽全都執行,要麽全都不執行。
  • 一致性(Consistent):在事務開始和完成時,數據都必須保持一致狀態。這意味著所有相關的數據規則都必須應用於事務的修改,以保持數據的完整性;事務結束時,所有的內部數據結構(如B樹索引或雙向鏈表)也都必須是正確的。
  • 隔離性(Isolation):數據庫系統提供一定的隔離機制,保證事務在不受外部並發操作影響的“獨立”環境執行。這意味著事務處理過程中的中間狀態對外部是不可見的,反之亦然。
  • 持久性(Durable):事務完成之後,它對於數據的修改是永久性的,即使出現系統故障也能夠保持。

  銀行轉帳就是事務的一個典型例子。

並發事務處理帶來的問題

  相對於串行處理來說,並發事務處理能大大增加數據庫資源的利用率,提高數據庫系統的事務吞吐量,從而可以支持更多的用戶。但並發事務處理也會帶來一些問題,主要包括以下幾種情況。

  更新丟失(Lost Update):當兩個或多個事務選擇同一行,然後基於最初選定的值更新該行時,由於每個事務都不知道其他事務的存在,就會發生丟失更新問題--最後的更 新覆蓋了由其他事務所做的更新。例如,兩個編輯人員制作了同一文檔的電子副本。每個編輯人員獨立地更改其副本,然後保存更改後的副本,這樣就覆蓋了原始文 檔。最後保存其更改副本的編輯人員覆蓋另一個編輯人員所做的更改。如果在一個編輯人員完成並提交事務之前,另一個編輯人員不能訪問同一文件,則可避免此問 題。

  臟讀(Dirty Reads):一個事務正在對一條記錄做修改,在這個事務完成並提交前,這條記錄的數據就處於不一致狀態;這時,另一個事務也來讀取同一條記錄,如果不加 控制,第二個事務讀取了這些“臟”數據,並據此做進一步的處理,就會產生未提交的數據依賴關系。這種現象被形象地叫做"臟讀"。
  不可重復讀(Non-Repeatable Reads):一個事務在讀取某些數據後的某個時間,再次讀取以前讀過的數據,卻發現其讀出的數據已經發生了改變、或某些記錄已經被刪除了!這種現象就叫做“不可重復讀”。
  幻讀(Phantom Reads):一個事務按相同的查詢條件重新讀取以前檢索過的數據,卻發現其他事務插入了滿足其查詢條件的新數據,這種現象就稱為“幻讀”。

事務隔離級別

  在上面講到的並發事務處理帶來的問題中,“更新丟失”通常是應該完全避免的。但防止更新丟失,並不能單靠數據庫事務控制器來解決,需要應用程序對要更新的數據加必要的鎖來解決,因此,防止更新丟失應該是應用的責任。

“臟讀”、“不可重復讀”和“幻讀”,其實都是數據庫讀一致性問題,必須由數據庫提供一定的事務隔離機制來解決。數據庫實現事務隔離的方式,基本上可分為以下兩種。

  一種是在讀取數據前,對其加鎖,阻止其他事務對數據進行修改。

   另一種是不用加任何鎖,通過一定機制生成一個數據請求時間點的一致性數據快照(Snapshot),並用這個快照來提供一定級別(語句級或事務級)的一 致 性讀取。從用戶的角度來看,好像是數據庫可以提供同一數據的多個版本,因此,這種技術叫做數據多版本並發控制(MultiVersion Concurrency Control,簡稱MVCC或MCC),也經常稱為多版本數據庫。

  數據庫的事務隔離越嚴格,並發副作用越 小,但付出的代價也就越大,因為事務隔離實質上就是使事務在一定程度上 “串行化”進行,這顯然與“並發”是矛盾的。同時,不同的應用對讀一致性和事務隔離程度的要求也是不同的,比如許多應用對“不可重復讀”和“幻讀”並不敏 感,可能更關心數據並發訪問的能力。

為了解決“隔離”與“並發”的矛盾,ISO/ANSI SQL92定義了4個事務隔離級別,每個級別的隔離程度不同,允許出現的副作用也不同,應用可以根據自己的業務邏輯要求,通過選擇不同的隔離級別來平衡 “隔離”與“並發”的矛盾。表20-5很好地概括了這4個隔離級別的特性。

表20-5 4種隔離級別比較

讀數據一致性及允許的並發副作用

隔離級別

讀數據一致性

臟讀

不可重復讀

幻讀

未提交讀(Read uncommitted)

最低級別,只能保證不讀取物理上損壞的數據

已提交度(Read committed)

語句級

可重復讀(Repeatable read)

事務級

可序列化(Serializable)

最高級別,事務級

  最後要說明的是:各具體數據庫並不一定完全實現了上述4個隔離級別,例如,Oracle只提供Read committed和Serializable兩個標準隔離級別,另外還提供自己定義的Read only隔離級別;SQL Server除支持上述ISO/ANSI SQL92定義的4個隔離級別外,還支持一個叫做“快照”的隔離級別,但嚴格來說它是一個用MVCC實現的Serializable隔離級別。MySQL 支持全部4個隔離級別,但在具體實現時,有一些特點,比如在一些隔離級別下是采用MVCC一致性讀,但某些情況下又不是,這些內容在後面的章節中將會做進 一步介紹。

獲取InnoDB行鎖爭用情況

可以通過檢查InnoDB_row_lock狀態變量來分析系統上的行鎖的爭奪情況:

mysql> show status like ‘innodb_row_lock%‘;
+-------------------------------+-------+
| Variable_name                 | Value |
+-------------------------------+-------+
| Innodb_row_lock_current_waits | 0     |
| Innodb_row_lock_time          | 0     |
| Innodb_row_lock_time_avg      | 0     |
| Innodb_row_lock_time_max      | 0     |
| Innodb_row_lock_waits         | 0     |
+-------------------------------+-------+
5 rows in set

如果發現鎖爭用比較嚴重,如InnoDB_row_lock_waits和InnoDB_row_lock_time_avg的值比較高,還可以通過設置InnoDB Monitors來進一步觀察發生鎖沖突的表、數據行等,並分析鎖爭用的原因。

可以用下面的語句來進行查看:

mysql> Show engine innodb status\G;
*************************** 1. row ***************************
Type: InnoDB
Name:
Status:
…
…
------------
TRANSACTIONS
------------
Trx id counter 0 117472192
Purge done for trx‘s n:o < 0 117472190 undo n:o < 0 0
History list length 17

  在SHOW INNODB STATUS的顯示內容中,會有詳細的當前鎖等待的信息,包括表名、鎖類型、鎖定記錄的情況等,便於進行進一步的分析和問題的確定。打開監視器以後,默認 情況下每15秒會向日誌中記錄監控的內容,如果長時間打開會導致.err文件變得非常的巨大,所以用戶在確認問題原因之後,要記得刪除監控表以關閉監視 器,或者通過使用"--console"選項來啟動服務器以關閉寫日誌文件。

InnoDB的行鎖模式及加鎖方法

InnoDB實現了以下兩種類型的行鎖。

  共享鎖(S):允許一個事務去讀一行,阻止其他事務獲得相同數據集的排他鎖。
  排他鎖(X):允許獲得排他鎖的事務更新數據,阻止其他事務取得相同數據集的共享讀鎖和排他寫鎖。

  另外,為了允許行鎖和表鎖共存,實現多粒度鎖機制,InnoDB還有兩種內部使用的意向鎖(Intention Locks),這兩種意向鎖都是表鎖。

  意向共享鎖(IS):事務打算給數據行加行共享鎖,事務在給一個數據行加共享鎖前必須先取得該表的IS鎖。
  意向排他鎖(IX):事務打算給數據行加行排他鎖,事務在給一個數據行加排他鎖前必須先取得該表的IX鎖。

表20-6 InnoDB行鎖模式兼容性列表

請求鎖模式

是否兼容

當前鎖模式

X

IX

S

IS

X

沖突

沖突

沖突

沖突

IX

沖突

兼容

沖突

兼容

S

沖突

沖突

兼容

兼容

IS

沖突

兼容

兼容

兼容

如果一個事務請求的鎖模式與當前的鎖兼容,InnoDB就將請求的鎖授予該事務;反之,如果兩者不兼容,該事務就要等待鎖釋放。

意向鎖是InnoDB自動加的,不需用戶幹預。對於UPDATE、DELETE和INSERT語句,InnoDB會自動給涉及數據集加排他鎖(X);對於普通SELECT語句,InnoDB不會加任何鎖;事務可以通過以下語句顯示給記錄集加共享鎖或排他鎖。

  共享鎖(S):SELECT * FROM table_name WHERE ... LOCK IN SHARE MODE。
  排他鎖(X):SELECT * FROM table_name WHERE ... FOR UPDATE。

   用SELECT ... IN SHARE MODE獲得共享鎖,主要用在需要數據依存關系時來確認某行記錄是否存在,並確保沒有人對這個記錄進行UPDATE或者DELETE操作。但是如果當前事 務也需要對該記錄進行更新操作,則很有可能造成死鎖,對於鎖定行記錄後需要進行更新操作的應用,應該使用SELECT... FOR UPDATE方式獲得排他鎖。

在如表20-7所示的例子中,使用了SELECT ... IN SHARE MODE加鎖後再更新記錄,看看會出現什麽情況,其中actor表的actor_id字段為主鍵。

表20-7 InnoDB存儲引擎的共享鎖例子

session_1

session_2

mysql> set autocommit = 0;

Query OK, 0 rows affected (0.00 sec)

mysql> select actor_id,first_name,last_name from actor where actor_id = 178;

+----------+------------+-----------+

| actor_id | first_name | last_name |

+----------+------------+-----------+

| 178 | LISA | MONROE |

+----------+------------+-----------+

1 row in set (0.00 sec)

mysql> set autocommit = 0;

Query OK, 0 rows affected (0.00 sec)

mysql> select actor_id,first_name,last_name from actor where actor_id = 178;

+----------+------------+-----------+

| actor_id | first_name | last_name |

+----------+------------+-----------+

| 178 | LISA | MONROE |

+----------+------------+-----------+

1 row in set (0.00 sec)

當前session對actor_id=178的記錄加share mode 的共享鎖:

mysql> select actor_id,first_name,last_name from actor where actor_id = 178lock in share mode;

+----------+------------+-----------+

| actor_id | first_name | last_name |

+----------+------------+-----------+

| 178 | LISA | MONROE |

+----------+------------+-----------+

1 row in set (0.01 sec)

其他session仍然可以查詢記錄,並也可以對該記錄加share mode的共享鎖:

mysql> select actor_id,first_name,last_name from actor where actor_id = 178lock in share mode;

+----------+------------+-----------+

| actor_id | first_name | last_name |

+----------+------------+-----------+

| 178 | LISA | MONROE |

+----------+------------+-----------+

1 row in set (0.01 sec)

當前session對鎖定的記錄進行更新操作,等待鎖:

mysql> update actor set last_name = ‘MONROE T‘ where actor_id = 178;

等待

其他session也對該記錄進行更新操作,則會導致死鎖退出:

mysql> update actor set last_name = ‘MONROE T‘ where actor_id = 178;

ERROR 1213 (40001): Deadlock found when trying to get lock; try restarting transaction

獲得鎖後,可以成功更新:

mysql> update actor set last_name = ‘MONROE T‘ where actor_id = 178;

Query OK, 1 row affected (17.67 sec)

Rows matched: 1 Changed: 1 Warnings: 0

當使用SELECT...FOR UPDATE加鎖後再更新記錄,出現如表20-8所示的情況。

表20-8 InnoDB存儲引擎的排他鎖例子

session_1

session_2

mysql> set autocommit = 0;

Query OK, 0 rows affected (0.00 sec)

mysql> select actor_id,first_name,last_name from actor where actor_id = 178;

+----------+------------+-----------+

| actor_id | first_name | last_name |

+----------+------------+-----------+

| 178 | LISA | MONROE |

+----------+------------+-----------+

1 row in set (0.00 sec)

mysql> set autocommit = 0;

Query OK, 0 rows affected (0.00 sec)

mysql> select actor_id,first_name,last_name from actor where actor_id = 178;

+----------+------------+-----------+

| actor_id | first_name | last_name |

+----------+------------+-----------+

| 178 | LISA | MONROE |

+----------+------------+-----------+

1 row in set (0.00 sec)

當前session對actor_id=178的記錄加for update的排它鎖:

mysql> select actor_id,first_name,last_name from actor where actor_id = 178 for update;

+----------+------------+-----------+

| actor_id | first_name | last_name |

+----------+------------+-----------+

| 178 | LISA | MONROE |

+----------+------------+-----------+

1 row in set (0.00 sec)

其他session可以查詢該記錄,但是不能對該記錄加共享鎖,會等待獲得鎖:

mysql> select actor_id,first_name,last_name from actor where actor_id = 178;

+----------+------------+-----------+

| actor_id | first_name | last_name |

+----------+------------+-----------+

| 178 | LISA | MONROE |

+----------+------------+-----------+

1 row in set (0.00 sec)

mysql> select actor_id,first_name,last_name from actor where actor_id = 178 for update;

等待

當前session可以對鎖定的記錄進行更新操作,更新後釋放鎖:

mysql> update actor set last_name = ‘MONROE T‘ where actor_id = 178;

Query OK, 1 row affected (0.00 sec)

Rows matched: 1 Changed: 1 Warnings: 0

mysql> commit;

Query OK, 0 rows affected (0.01 sec)

其他session獲得鎖,得到其他session提交的記錄:

mysql> select actor_id,first_name,last_name from actor where actor_id = 178 for update;

+----------+------------+-----------+

| actor_id | first_name | last_name |

+----------+------------+-----------+

| 178 | LISA | MONROE T |

+----------+------------+-----------+

1 row in set (9.59 sec)

InnoDB行鎖實現方式

  InnoDB行鎖是通過給索引上的索引項加鎖來實 現的,這一點MySQL與Oracle不同,後者是通過在數據塊中對相應數據行加鎖來實現的。InnoDB這種行鎖實現特點意味著:只有通過索引條件檢索 數據,InnoDB才使用行級鎖,否則,InnoDB將使用表鎖!

在實際應用中,要特別註意InnoDB行鎖的這一特性,不然的話,可能導致大量的鎖沖突,從而影響並發性能。下面通過一些實際例子來加以說明。

1)在不通過索引條件查詢的時候,InnoDB確實使用的是表鎖,而不是行鎖。

在如表20-9所示的例子中,開始tab_no_index表沒有索引:

mysql> create table tab_no_index(
id int,name varchar(10)
) engine=innodb;
Query OK, 0 rows affected (0.15 sec)
mysql> insert into tab_no_index
 values(1,‘1‘),(2,‘2‘),(3,‘3‘),(4,‘4‘);
Query OK, 4 rows affected (0.00 sec)

表20-9 InnoDB存儲引擎的表在不使用索引時使用表鎖例子

session_1

session_2

mysql> set autocommit=0;

Query OK, 0 rows affected (0.00 sec)

mysql> select * from tab_no_index where id = 1 ;

+------+------+

| id | name |

+------+------+

| 1 | 1 |

+------+------+

1 row in set (0.00 sec)

mysql> set autocommit=0;

Query OK, 0 rows affected (0.00 sec)

mysql> select * from tab_no_index where id = 2 ;

+------+------+

| id | name |

+------+------+

| 2 | 2 |

+------+------+

1 row in set (0.00 sec)

mysql> select * from tab_no_index where id = 1 for update;

+------+------+

| id | name |

+------+------+

| 1 | 1 |

+------+------+

1 row in set (0.00 sec)

mysql> select * from tab_no_index where id = 2 for update;

等待

  在如表20 -9所示的例子中,看起來session_1只給一行加了排他鎖,但session_2在請求其他行的排他鎖時,卻出現了鎖等待!原因就是在沒有索引的情況下,InnoDB只能使用表鎖。當我們給其增加一個索引後,InnoDB就只鎖定了符合條件的行。

表20-10 InnoDB存儲引擎的表在使用索引時使用行鎖例子

session_1

session_2

mysql> set autocommit=0;

Query OK, 0 rows affected (0.00 sec)

mysql> select * from tab_with_index where id = 1 ;

+------+------+

| id | name |

+------+------+

| 1 | 1 |

+------+------+

1 row in set (0.00 sec)

mysql> set autocommit=0;

Query OK, 0 rows affected (0.00 sec)

mysql> select * from tab_with_index where id = 2 ;

+------+------+

| id | name |

+------+------+

| 2 | 2 |

+------+------+

1 row in set (0.00 sec)

mysql> select * from tab_with_index where id = 1 for update;

+------+------+

| id | name |

+------+------+

| 1 | 1 |

+------+------+

1 row in set (0.00 sec)

mysql> select * from tab_with_index where id = 2 for update;

+------+------+

| id | name |

+------+------+

| 2 | 2 |

+------+------+

1 row in set (0.00 sec)

2)由於MySQL的行鎖是針對索引加的鎖,不是針對記錄加的鎖,所以雖然是訪問不同行的記錄,但是如果是使用相同的索引鍵,是會出現鎖沖突的。應用設計的時候要註意這一點。

在如表20-11所示的例子中,表tab_with_index的id字段有索引,name字段沒有索引:

表20-11 InnoDB存儲引擎使用相同索引鍵的阻塞例子

session_1

session_2

mysql> set autocommit=0;

Query OK, 0 rows affected (0.00 sec)

mysql> set autocommit=0;

Query OK, 0 rows affected (0.00 sec)

mysql> select * from tab_with_index where id = 1 and name = ‘1‘ for update;

+------+------+

| id | name |

+------+------+

| 1 | 1 |

+------+------+

1 row in set (0.00 sec)

雖然session_2訪問的是和session_1不同的記錄,但是因為使用了相同的索引,所以需要等待鎖:

mysql> select * from tab_with_index where id = 1 and name = ‘4‘ for update;

等待

3)當表有多個索引的時候,不同的事務可以使用不同的索引鎖定不同的行,另外,不論是使用主鍵索引、唯一索引或普通索引,InnoDB都會使用行鎖來對數據加鎖。

在如表20-12所示的例子中,表tab_with_index的id字段有主鍵索引,name字段有普通索引:

表20-12 InnoDB存儲引擎的表使用不同索引的阻塞例子

session_1

session_2

mysql> set autocommit=0;

Query OK, 0 rows affected (0.00 sec)

mysql> set autocommit=0;

Query OK, 0 rows affected (0.00 sec)

mysql> select * from tab_with_index where id = 1 for update;

+------+------+

| id | name |

+------+------+

| 1 | 1 |

| 1 | 4 |

+------+------+

2 rows in set (0.00 sec)

Session_2使用name的索引訪問記錄,因為記錄沒有被索引,所以可以獲得鎖:

mysql> select * from tab_with_index where name = ‘2‘ for update;

+------+------+

| id | name |

+------+------+

| 2 | 2 |

+------+------+

1 row in set (0.00 sec)

由於訪問的記錄已經被session_1鎖定,所以等待獲得鎖。:

mysql> select * from tab_with_index where name = ‘4‘ for update;

4) 即便在條件中使用了索引字段,但是否使用索引來檢索數據是由MySQL通過判斷不同執行計劃的代價來決定的,如果MySQL認為全表掃描效率更高,比 如對一些很小的表,它就不會使用索引,這種情況下InnoDB將使用表鎖,而不是行鎖。因此,在分析鎖沖突時,別忘了檢查SQL的執行計劃,以確認是否真 正使用了索引。關於MySQL在什麽情況下不使用索引的詳細討論,參見本章“索引問題”一節的介紹。

在下面的例子中,檢索值的數據類型與索引字段不同,雖然MySQL能夠進行數據類型轉換,但卻不會使用索引,從而導致InnoDB使用表鎖。通過用explain檢查兩條SQL的執行計劃,我們可以清楚地看到了這一點。

例子中tab_with_index表的name字段有索引,但是name字段是varchar類型的,如果where條件中不是和varchar類型進行比較,則會對name進行類型轉換,而執行的全表掃描。

mysql> explain select * from tab_with_index where name = 1 \G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tab_with_index
type: ALL
possible_keys: name
key: NULL
key_len: NULL
ref: NULL
rows: 4
Extra: Using where
1 row in set (0.00 sec)

mysql> explain select * from tab_with_index where name = ‘1‘ \G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tab_with_index
type: ref
possible_keys: name
key: name
key_len: 23
ref: const
rows: 1
Extra: Using where
1 row in set (0.00 sec)

間隙鎖(Next-Key鎖)

當 我們用範圍條件而不是相等條件檢索數據,並請求共享或排他鎖時,InnoDB會給符合條件 的已有數據記錄的索引項加鎖;對於鍵值在條件範圍內但並不存在的記錄,叫做“間隙(GAP)”,InnoDB也會對這個“間隙”加鎖,這種鎖機制就是所謂 的間隙鎖(Next-Key鎖)。

  舉例來說,假如emp表中只有101條記錄,其empid的值分別是 1,2,...,100,101,下面的SQL:

Select * from  emp where empid > 100 for update;

  是一個範圍條件的檢索,InnoDB不僅會對符合條件的empid值為101的記錄加鎖,也會對empid大於101(這些記錄並不存在)的“間隙”加鎖。

   InnoDB 使用間隙鎖的目的,一方面是為了防止幻讀,以滿足相關隔離級別的要求,對於上面的例子,要是不使用間隙鎖,如果其他事務插入了empid大於100的任何 記錄,那麽本事務如果再次執行上述語句,就會發生幻讀;另外一方面,是為了滿足其恢復和復制的需要。有關其恢復和復制對鎖機制的影響,以及不同隔離級別下 InnoDB使用間隙鎖的情況,在後續的章節中會做進一步介紹。

  很顯然,在使用範圍條件檢索並鎖定記錄時,InnoDB這種加鎖機制會阻塞符合條件範圍內鍵值的並發插入,這往往會造成嚴重的鎖等待。因此,在實際應用開發中,尤其是並發插入比較多的應用,我們要盡量優化業務邏輯,盡量使用相等條件來訪問更新數據,避免使用範圍條件。

  還要特別說明的是,InnoDB除了通過範圍條件加鎖時使用間隙鎖外,如果使用相等條件請求給一個不存在的記錄加鎖,InnoDB也會使用間隙鎖!

在如表20-13所示的例子中,假如emp表中只有101條記錄,其empid的值分別是1,2,......,100,101。

表20-13 InnoDB存儲引擎的間隙鎖阻塞例子

session_1

session_2

mysql> select @@tx_isolation;

+-----------------+

| @@tx_isolation |

+-----------------+

| REPEATABLE-READ |

+-----------------+

1 row in set (0.00 sec)

mysql> set autocommit = 0;

Query OK, 0 rows affected (0.00 sec)

mysql> select @@tx_isolation;

+-----------------+

| @@tx_isolation |

+-----------------+

| REPEATABLE-READ |

+-----------------+

1 row in set (0.00 sec)

mysql> set autocommit = 0;

Query OK, 0 rows affected (0.00 sec)

當前session對不存在的記錄加for update的鎖:

mysql> select * from emp where empid = 102 for update;

Empty set (0.00 sec)

這時,如果其他session插入empid為201的記錄(註意:這條記錄並不存在),也會出現鎖等待:

mysql>insert into emp(empid,...) values(201,...);

阻塞等待

Session_1 執行rollback:

mysql> rollback;

Query OK, 0 rows affected (13.04 sec)

由於其他session_1回退後釋放了Next-Key鎖,當前session可以獲得鎖並成功插入記錄:

mysql>insert into emp(empid,...) values(201,...);

Query OK, 1 row affected (13.35 sec)

恢復和復制的需要,對InnoDB鎖機制的影響

   MySQL通過BINLOG錄執行成功的INSERT、UPDATE、DELETE等更新數據的SQL語句,並由此實現MySQL數據庫的恢復和主從復 制 (可以參見本書“管理篇”的介紹)。MySQL的恢復機制(復制其實就是在Slave Mysql不斷做基於BINLOG的恢復)有以下特點。

  一是MySQL的恢復是SQL語句級的,也就是重新執行BINLOG中的SQL語句。這與Oracle數據庫不同,Oracle是基於數據庫文件塊的。

   二是MySQL的Binlog是按照事務提交的先後順序記錄的,恢復也是按這個順序進行的。這點也與Oralce不同,Oracle是按照系統更新號 (System Change Number,SCN)來恢復數據的,每個事務開始時,Oracle都會分配一個全局唯一的SCN,SCN的順序與事務開始的時間順序是一致的。

   從上面兩點可知,MySQL的恢復機制要求:在一個事務未提交前,其他並發事務不能插入滿足其鎖定條件的任何記錄,也就是不允許出現幻讀,這已經超過了 ISO/ANSI SQL92“可重復讀”隔離級別的要求,實際上是要求事務要串行化。這也是許多情況下,InnoDB要用到間隙鎖的原因,比如在用範圍條件更新記錄時,無 論在Read Commited或是Repeatable Read隔離級別下,InnoDB都要使用間隙鎖,但這並不是隔離級別要求的,有關InnoDB在不同隔離級別下加鎖的差異在下一小節還會介紹。

   另外,對於“insert into target_tab select * from source_tab where ...”和“create table new_tab ...select ... From source_tab where ...(CTAS)”這種SQL語句,用戶並沒有對source_tab做任何更新操作,但MySQL對這種SQL語句做了特別處理。先來看如表 20-14的例子。

表20-14 CTAS操作給原表加鎖例子

session_1

session_2

mysql> set autocommit = 0;

Query OK, 0 rows affected (0.00 sec)

mysql> select * from target_tab;

Empty set (0.00 sec)

mysql> select * from source_tab where name = ‘1‘;

+----+------+----+

| d1 | name | d2 |

+----+------+----+

| 4 | 1 | 1 |

| 5 | 1 | 1 |

| 6 | 1 | 1 |

| 7 | 1 | 1 |

| 8 | 1 | 1 |

+----+------+----+

5 rows in set (0.00 sec)

mysql> set autocommit = 0;

Query OK, 0 rows affected (0.00 sec)

mysql> select * from target_tab;

Empty set (0.00 sec)

mysql> select * from source_tab where name = ‘1‘;

+----+------+----+

| d1 | name | d2 |

+----+------+----+

| 4 | 1 | 1 |

| 5 | 1 | 1 |

| 6 | 1 | 1 |

| 7 | 1 | 1 |

| 8 | 1 | 1 |

+----+------+----+

5 rows in set (0.00 sec)

mysql> insert into target_tab select d1,name from source_tab where name = ‘1‘;

Query OK, 5 rows affected (0.00 sec)

Records: 5 Duplicates: 0 Warnings: 0

mysql> update source_tab set name = ‘1‘ where name = ‘8‘;

等待

commit;

返回結果

commit;

在上面的例子中,只是簡單地讀 source_tab表的數據,相當於執行一個普通的SELECT語句,用一致性讀就可以了。ORACLE正是這麽做的,它通過MVCC技術實現的多版本 數據來實現一致性讀,不需要給source_tab加任何鎖。我們知道InnoDB也實現了多版本數據,對普通的SELECT一致性讀,也不需要加任何 鎖;但這裏InnoDB卻給source_tab加了共享鎖,並沒有使用多版本數據一致性讀技術!

MySQL 為什麽要這麽做呢?其原因還是為了保證恢復和復制的正確性。因為不加鎖的話,如果在上述語句執行過程中,其他事務對source_tab做了更新操作,就 可能導致數據恢復的結果錯誤。為了演示這一點,我們再重復一下前面的例子,不同的是在session_1執行事務前,先將系統變量 innodb_locks_unsafe_for_binlog的值設置為“on”(其默認值為off),具體結果如表20-15所示。

表20-15 CTAS操作不給原表加鎖帶來的安全問題例子

session_1

session_2

mysql> set autocommit = 0;

Query OK, 0 rows affected (0.00 sec)

mysql>set innodb_locks_unsafe_for_binlog=‘on‘

Query OK, 0 rows affected (0.00 sec)

mysql> select * from target_tab;

Empty set (0.00 sec)

mysql> select * from source_tab where name = ‘1‘;

+----+------+----+

| d1 | name | d2 |

+----+------+----+

| 4 | 1 | 1 |

| 5 | 1 | 1 |

| 6 | 1 | 1 |

| 7 | 1 | 1 |

| 8 | 1 | 1 |

+----+------+----+

5 rows in set (0.00 sec)

mysql> set autocommit = 0;

Query OK, 0 rows affected (0.00 sec)

mysql> select * from target_tab;

Empty set (0.00 sec)

mysql> select * from source_tab where name = ‘1‘;

+----+------+----+

| d1 | name | d2 |

+----+------+----+

| 4 | 1 | 1 |

| 5 | 1 | 1 |

| 6 | 1 | 1 |

| 7 | 1 | 1 |

| 8 | 1 | 1 |

+----+------+----+

5 rows in set (0.00 sec)

mysql> insert into target_tab select d1,name from source_tab where name = ‘1‘;

Query OK, 5 rows affected (0.00 sec)

Records: 5 Duplicates: 0 Warnings: 0

session_1未提交,可以對session_1的select的記錄進行更新操作。

mysql> update source_tab set name = ‘8‘ where name = ‘1‘;

Query OK, 5 rows affected (0.00 sec)

Rows matched: 5 Changed: 5 Warnings: 0

mysql> select * from source_tab where name = ‘8‘;

+----+------+----+

| d1 | name | d2 |

+----+------+----+

| 4 | 8 | 1 |

| 5 | 8 | 1 |

| 6 | 8 | 1 |

| 7 | 8 | 1 |

| 8 | 8 | 1 |

+----+------+----+

5 rows in set (0.00 sec)

更新操作先提交

mysql> commit;

Query OK, 0 rows affected (0.05 sec)

插入操作後提交

mysql> commit;

Query OK, 0 rows affected (0.07 sec)

此時查看數據,target_tab中可以插入source_tab更新前的結果,這符合應用邏輯:

mysql> select * from source_tab where name = ‘8‘;

+----+------+----+

| d1 | name | d2 |

+----+------+----+

| 4 | 8 | 1 |

| 5 | 8 | 1 |

| 6 | 8 | 1 |

| 7 | 8 | 1 |

| 8 | 8 | 1 |

+----+------+----+

5 rows in set (0.00 sec)

mysql> select * from target_tab;

+------+------+

| id | name |

+------+------+

| 4 | 1.00 |

| 5 | 1.00 |

| 6 | 1.00 |

| 7 | 1.00 |

| 8 | 1.00 |

+------+------+

5 rows in set (0.00 sec)

mysql> select * from tt1 where name = ‘1‘;

Empty set (0.00 sec)

mysql> select * from source_tab where name = ‘8‘;

+----+------+----+

| d1 | name | d2 |

+----+------+----+

| 4 | 8 | 1 |

| 5 | 8 | 1 |

| 6 | 8 | 1 |

| 7 | 8 | 1 |

| 8 | 8 | 1 |

+----+------+----+

5 rows in set (0.00 sec)

mysql> select * from target_tab;

+------+------+

| id | name |

+------+------+

| 4 | 1.00 |

| 5 | 1.00 |

| 6 | 1.00 |

| 7 | 1.00 |

| 8 | 1.00 |

+------+------+

5 rows in set (0.00 sec)

從上可見,設置系統變量innodb_locks_unsafe_for_binlog的值為“on”後,InnoDB不再對source_tab加鎖,結果也符合應用邏輯,但是如果分析BINLOG的內容:

......
SET TIMESTAMP=1169175130;
BEGIN;
# at 274
#070119 10:51:57 server id 1  end_log_pos 105   Query   thread_id=1     exec_time=0     error_code=0
SET TIMESTAMP=1169175117;
update source_tab set name = ‘8‘ where name = ‘1‘;
# at 379
#070119 10:52:10 server id 1  end_log_pos 406   Xid = 5
COMMIT;
# at 406
#070119 10:52:14 server id 1  end_log_pos 474   Query   thread_id=2     exec_time=0     error_code=0
SET TIMESTAMP=1169175134;
BEGIN;
# at 474
#070119 10:51:29 server id 1  end_log_pos 119   Query   thread_id=2     exec_time=0     error_code=0
SET TIMESTAMP=1169175089;
insert into target_tab select d1,name from source_tab where name = ‘1‘;
# at 593
#070119 10:52:14 server id 1  end_log_pos 620   Xid = 7
COMMIT;
......

可以發現,在BINLOG中,更新操作的位置在INSERT...SELECT之前,如果使用這個BINLOG進行數據庫恢復,恢復的結果與實際的應用邏輯不符;如果進行復制,就會導致主從數據庫不一致!

通 過上面的例子,我們就不難理解為什麽MySQL在處理“Insert into target_tab select * from source_tab where ...”和“create table new_tab ...select ... From source_tab where ...”時要給source_tab加鎖,而不是使用對並發影響最小的多版本數據來實現一致性讀。還要特別說明的是,如果上述語句的SELECT是範圍條 件,InnoDB還會給源表加間隙鎖(Next-Lock)。

因 此,INSERT...SELECT...和 CREATE TABLE...SELECT...語句,可能會阻止對源表的並發更新,造成對源表鎖的等待。如果查詢比較復雜的話,會造成嚴重的性能問題,我們在應用中 應盡量避免使用。實際上,MySQL將這種SQL叫作不確定(non-deterministic)的SQL,不推薦使用。

  如果應用中一定要用這種SQL來實現業務邏輯,又不希望對源表的並發更新產生影響,可以采取以下兩種措施:

  一是采取上面示例中的做法,將innodb_locks_unsafe_for_binlog的值設置為“on”,強制MySQL使用多版本數據一致性讀。但付出的代價是可能無法用binlog正確地恢復或復制數據,因此,不推薦使用這種方式。

  二是通過使用“select * from source_tab ... Into outfile”和“load data infile ...”語句組合來間接實現,采用這種方式MySQL不會給source_tab加鎖。

InnoDB在不同隔離級別下的一致性讀及鎖的差異

  前面講過,鎖和多版本數據是InnoDB實現一致性讀和ISO/ANSI SQL92隔離級別的手段,因此,在不同的隔離級別下,InnoDB處理SQL時采用的一致性讀策略和需要的鎖是不同的。同時,數據恢復和復制機制的特 點,也對一些SQL的一致性讀策略和鎖策略有很大影響。將這些特性歸納成如表20-16所示的內容,以便讀者查閱。

表20-16 InnoDB存儲引擎中不同SQL在不同隔離級別下鎖比較

隔離級別

一致性讀和鎖

SQL

Read Uncommited

Read Commited

Repeatable Read

Serializable

SQL

條件

select

相等

None locks

Consisten read/None lock

Consisten read/None lock

Share locks

範圍

None locks

Consisten read/None lock

Consisten read/None lock

Share Next-Key

update

相等

exclusive locks

exclusive locks

exclusive locks

Exclusive locks

範圍

exclusive next-key

exclusive next-key

exclusive next-key

exclusive next-key

Insert

N/A

exclusive locks

exclusive locks

exclusive locks

exclusive locks

replace

無鍵沖突

exclusive locks

exclusive locks

exclusive locks

exclusive locks

鍵沖突

exclusive next-key

exclusive next-key

exclusive next-key

exclusive next-key

delete

相等

exclusive locks

exclusive locks

exclusive locks

exclusive locks

範圍

exclusive next-key

exclusive next-key

exclusive next-key

exclusive next-key

Select ... from ... Lock in share mode

相等

Share locks

Share locks

Share locks

Share locks

範圍

Share locks

Share locks

Share Next-Key

Share Next-Key

Select * from ... For update

相等

exclusive locks

exclusive locks

exclusive locks

exclusive locks

範圍

exclusive locks

Share locks

exclusive next-key

exclusive next-key

Insert into ... Select ...

(指源表鎖)

innodb_locks_unsafe_for_binlog=off

Share Next-Key

Share Next-Key

Share Next-Key

Share Next-Key

innodb_locks_unsafe_for_binlog=on

None locks

Consisten read/None lock

Consisten read/None lock

Share Next-Key

create table ... Select ...

(指源表鎖)

innodb_locks_unsafe_for_binlog=off

Share Next-Key

Share Next-Key

Share Next-Key

Share Next-Key

innodb_locks_unsafe_for_binlog=on

None locks

Consisten read/None lock

Consisten read/None lock

Share Next-Key

  從表20-16可以看出:對於許多SQL,隔離級別越高,InnoDB給記錄集加的鎖就越嚴格(尤其是使用範圍條件的時候),產生鎖沖突的可能 性也就越 高,從而對並發性事務處理性能的影響也就越大。因此,我們在應用中,應該盡量使用較低的隔離級別,以減少鎖爭用的機率。實際上,通過優化事務邏輯,大部分 應用使用Read Commited隔離級別就足夠了。對於一些確實需要更高隔離級別的事務,可以通過在程序中執行SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ或SET SESSION TRANSACTION ISOLATION LEVEL SERIALIZABLE動態改變隔離級別的方式滿足需求。

什麽時候使用表鎖

對於InnoDB表,在絕大部分情況下都應該使用行級鎖,因為事務和行鎖往往是我們之所以選擇InnoDB表的理由。但在個別特殊事務中,也可以考慮使用表級鎖。

  第一種情況是:事務需要更新大部分或全部數據,表又比較大,如果使用默認的行鎖,不僅這個事務執行效率低,而且可能造成其他事務長時間鎖等待和鎖沖突,這種情況下可以考慮使用表鎖來提高該事務的執行速度。

  第二種情況是:事務涉及多個表,比較復雜,很可能引起死鎖,造成大量事務回滾。這種情況也可以考慮一次性鎖定事務涉及的表,從而避免死鎖、減少數據庫因事務回滾帶來的開銷。

  當然,應用中這兩種事務不能太多,否則,就應該考慮使用MyISAM表了。

在InnoDB下,使用表鎖要註意以下兩點。

(1) 使用LOCK TABLES雖然可以給InnoDB加表級鎖,但必須說明的是,表鎖不是由InnoDB存儲引擎層管理的,而是由其上一層──MySQL Server負責的,僅當autocommit=0、innodb_table_locks=1(默認設置)時,InnoDB層才能知道MySQL加的表 鎖,MySQL Server也才能感知InnoDB加的行鎖,這種情況下,InnoDB才能自動識別涉及表級鎖的死鎖;否則,InnoDB將無法自動檢測並處理這種死 鎖。有關死鎖,下一小節還會繼續討論。

(2)在用 LOCK TABLES對InnoDB表加鎖時要註意,要將AUTOCOMMIT設為0,否則MySQL不會給表加鎖;事務結束前,不要用UNLOCK TABLES釋放表鎖,因為UNLOCK TABLES會隱含地提交事務;COMMIT或ROLLBACK並不能釋放用LOCK TABLES加的表級鎖,必須用UNLOCK TABLES釋放表鎖。正確的方式見如下語句:

例如,如果需要寫表t1並從表t讀,可以按如下做:

SET AUTOCOMMIT=0;
LOCK TABLES t1 WRITE, t2 READ, ...;
[do something with tables t1 and t2 here];
COMMIT;
UNLOCK TABLES;



關於死鎖

上文講過,MyISAM表鎖是deadlock free的,這是因為MyISAM總是一次獲得所需的全部鎖,要麽全部滿足,要麽等待,因此不會出現死鎖。但在InnoDB中,除單個SQL組成的事務外,鎖是逐步獲得的,這就決定了在InnoDB中發生死鎖是可能的。


發生死鎖後,InnoDB一般都能自動檢測到,並使一個事務釋放鎖並回退,另一個事務獲得鎖,繼續完成事務。但在涉及外部鎖,或涉及表鎖的情況下,InnoDB並不能完全自動檢測到死鎖,這需要通過設置鎖等待超時參數 innodb_lock_wait_timeout來解決。需要說明的是,這個參數並不是只用來解決死鎖問題,在並發訪問比較高的情況下,如果大量事務因無法立即獲得所需的鎖而掛起,會占用大量計算機資源,造成嚴重性能問題,甚至拖跨數據庫。我們通過設置合適的鎖等待超時閾值,可以避免這種情況發生。


通常來說,死鎖都是應用設計的問題,通過調整業務流程、數據庫對象設計、事務大小,以及訪問數據庫的SQL語句,絕大部分死鎖都可以避免。下面就通過實例來介紹幾種避免死鎖的常用方法。


(1)在應用中,如果不同的程序會並發存取多個表,應盡量約定以相同的順序來訪問表,這樣可以大大降低產生死鎖的機會。在下面的例子中,由於兩個session訪問兩個表的順序不同,發生死鎖的機會就非常高!但如果以相同的順序來訪問,死鎖就可以避免。


(2)在程序以批量方式處理數據的時候,如果事先對數據排序,保證每個線程按固定的順序來處理記錄,也可以大大降低出現死鎖的可能。


(3)在事務中,如果要更新記錄,應該直接申請足夠級別的鎖,即排他鎖,而不應先申請共享鎖,更新時再申請排他鎖,因為當用戶申請排他鎖時,其他事務可能又已經獲得了相同記錄的共享鎖,從而造成鎖沖突,甚至死鎖。


盡管通過上面介紹的設計和SQL優化等措施,可以大大減少死鎖,但死鎖很難完全避免。因此,在程序設計中總是捕獲並處理死鎖異常是一個很好的編程習慣。


如果出現死鎖,可以用SHOW INNODB STATUS命令來確定最後一個死鎖產生的原因。返回結果中包括死鎖相關事務的詳細信息,如引發死鎖的SQL語句,事務已經獲得的鎖,正在等待什麽鎖,以及被回滾的事務等。據此可以分析死鎖產生的原因和改進措施。

 

轉自:https://www.cnblogs.com/aipiaoborensheng/p/5767459.html

Mysql--Innodb鎖