[資料庫鎖機制] 深入理解樂觀鎖、悲觀鎖以及CAS樂觀鎖的實現機制原理分析
前言:
- 在併發訪問情況下,可能會出現髒讀、不可重複讀和幻讀等讀現象,為了應對這些問題,主流資料庫都提供了鎖機制,並引入了事務隔離級別的概念。資料庫管理系統(DBMS)中的併發控制的任務是確保在多個事務同時存取資料庫中同一資料時不破壞事務的隔離性和統一性以及資料庫的統一性。
- 樂觀併發控制(樂觀鎖)和悲觀併發控制(悲觀鎖)是併發控制主要採用的技術手段。無論是悲觀鎖還是樂觀鎖,都是人們定義出來的概念,可以認為是一種思想。其實不僅僅是關係型資料庫系統中有樂觀鎖和悲觀鎖的概念,像memcache、hibernate、tair等都有類似的概念。
- 本文中也將深入分析一下樂觀鎖的實現機制,介紹什麼是CAS、CAS的應用以及CAS存在的問題等。
併發控制
在電腦科學,特別是程式設計、作業系統、多處理機和資料庫等領域,併發控制(Concurrency control
)是確保及時糾正由併發操作導致的錯誤的一種機制。
資料庫管理系統(DBMS)中的併發控制的任務是確保在多個事務同時存取資料庫中同一資料時不破壞事務的隔離性和統一性以及資料庫的統一性。下面舉例說明併發操作帶來的資料不一致性問題:
現有兩處火車票售票點,同時讀取某一趟列車車票資料庫中車票餘額為 X。兩處售票點同時賣出一張車票,同時修改餘額為 X -1寫回資料庫,這樣就造成了實際賣出兩張火車票而資料庫中的記錄卻只少了一張。 產生這種情況的原因是因為兩個事務讀入同一資料並同時修改,其中一個事務提交的結果破壞了另一個事務提交的結果,導致其資料的修改被丟失,破壞了事務的隔離性。併發控制要解決的就是這類問題。
封鎖、時間戳、樂觀併發控制(樂觀鎖)和悲觀併發控制(悲觀鎖)是併發控制主要採用的技術手段。
一、資料庫的鎖
鎖
當併發事務同時訪問一個資源時,有可能導致資料不一致,因此需要一種機制來將資料訪問順序化,以保證資料庫資料的一致性。鎖就是其中的一種機制。
在電腦科學中,鎖是在執行多執行緒時用於強行限制資源訪問的同步機制,即用於在併發控制中保證對互斥要求的滿足。
鎖的分類(oracle)
一、按操作劃分,可分為DML鎖
、DDL鎖
二、按鎖的粒度劃分,可分為
表級鎖
、
行級鎖
、
頁級鎖
(mysql)
四、按加鎖方式劃分,可分為自動鎖
、顯示鎖
DML鎖(data locks,資料鎖),用於保護資料的完整性,其中包括行級鎖(Row Locks (TX鎖))、表級鎖(table lock(TM鎖))。
DDL鎖(dictionary locks,資料字典鎖),用於保護資料庫物件的結構,如表、索引等的結構定義。其中包排他DDL鎖(Exclusive DDL lock)、共享DDL鎖(Share DDL lock)、可中斷解析鎖(Breakable parse locks)
1.1 鎖機制
常用的鎖機制有兩種:
1、悲觀鎖 :假定會發生併發衝突,遮蔽一切可能違反資料完整性的操作。悲觀鎖的實現,往往依靠底層提供的鎖機制;悲觀鎖會導致其它所有需要鎖的執行緒掛起,等待持有鎖的執行緒釋放鎖。
2、樂觀鎖 :假設不會發生併發衝突,每次不加鎖而是假設沒有衝突而去完成某項操作,只在提交操作時檢查是否違反資料完整性。如果因為衝突失敗就重試,直到成功為止。樂觀鎖大多是基於資料版本記錄機制實現。為資料增加一個版本標識,比如在基於資料庫表的版本解決方案中,一般是通過為資料庫表增加一個 “version” 欄位來實現。讀取出資料時,將此版本號一同讀出,之後更新時,對此版本號加一。此時,將提交資料的版本資料與資料庫表對應記錄的當前版本資訊進行比對,如果提交的資料版本號大於資料庫表當前版本號,則予以更新,否則認為是過期資料。
樂觀鎖的缺點是不能解決髒讀的問題。
在實際生產環境裡邊,如果併發量不大且不允許髒讀,可以使用悲觀鎖解決併發問題;但如果系統的併發非常大的話,悲觀鎖定會帶來非常大的效能問題,所以我們就要選擇樂觀鎖定的方法。
二、悲觀鎖與樂觀鎖詳解
2.1 悲觀鎖
在關係資料庫管理系統裡,悲觀併發控制(又名“悲觀鎖”,Pessimistic Concurrency Control,縮寫“PCC”)是一種併發控制的方法。它可以阻止一個事務以影響其他使用者的方式來修改資料。如果一個事務執行的操作都某行資料應用了鎖,那只有當這個事務把鎖釋放,其他事務才能夠執行與該鎖衝突的操作。
悲觀併發控制主要用於資料爭用激烈的環境,以及發生併發衝突時使用鎖保護資料的成本要低於回滾事務的成本的環境中。
悲觀鎖,正如其名,它指的是對資料被外界(包括本系統當前的其他事務,以及來自外部系統的事務處理)修改持保守態度(悲觀),因此,在整個資料處理過程中,將資料處於鎖定狀態。 悲觀鎖的實現,往往依靠資料庫提供的鎖機制 (也只有資料庫層提供的鎖機制才能真正保證資料訪問的排他性,否則,即使在本系統中實現了加鎖機制,也無法保證外部系統不會修改資料)
在資料庫中,悲觀鎖的流程如下:
在對任意記錄進行修改前,先嚐試為該記錄加上排他鎖 (exclusive locking)。
如果加鎖失敗,說明該記錄正在被修改,那麼當前查詢可能要等待或者丟擲異常。 具體響應方式由開發者根據實際需要決定。
如果成功加鎖,那麼就可以對記錄做修改,事務完成後就會解鎖了。
其間如果有其他對該記錄做修改或加排他鎖的操作,都會等待我們解鎖或直接丟擲異常。
MySQL InnoDB中使用悲觀鎖:
要使用悲觀鎖,我們必須關閉mysql資料庫的自動提交屬性,因為MySQL預設使用autocommit模式,也就是說,當你執行一個更新操作後,MySQL會立刻將結果進行提交。set autocommit=0;
//0.開始事務 begin;/begin work;/start transaction; (三者選一就可以) //1.查詢出商品資訊 select status from t_goods where id=1 for update; //2.根據商品資訊生成訂單 insert into t_orders (id,goods_id) values (null,1); //3.修改商品status為2 update t_goods set status=2; //4.提交事務 commit;/commit work;
上面的查詢語句中,我們使用了select…for update
的方式,這樣就通過開啟排他鎖
的方式實現了悲觀鎖。此時在t_goods表中,id為1的 那條資料就被我們鎖定了,其它的事務必須等本次事務提交之後才能執行。這樣我們可以保證當前的資料不會被其它事務修改。
上面我們提到,使用select…for update
會把資料給鎖住,不過我們需要注意一些鎖的級別,MySQL InnoDB預設行級鎖
。行級鎖都是基於索引的,如果一條SQL語句用不到索引是不會使用行級鎖的,會使用表級鎖把整張表鎖住,這點需要注意。
優點與不足
悲觀併發控制實際上是“先取鎖再訪問”的保守策略,為資料處理的安全提供了保證。但是在效率方面,處理加鎖的機制會讓資料庫產生額外的開銷,還有增加產生死鎖的機會;另外,在只讀型事務處理中由於不會產生衝突,也沒必要使用鎖,這樣做只能增加系統負載;還有會降低了並行性,一個事務如果鎖定了某行資料,其他事務就必須等待該事務處理完才可以處理那行數
2.2 樂觀鎖
在關係資料庫管理系統裡,樂觀併發控制(又名“樂觀鎖”,Optimistic Concurrency Control,縮寫“OCC”)是一種併發控制的方法。它假設多使用者併發的事務在處理時不會彼此互相影響,各事務能夠在不產生鎖的情況下處理各自影響的那部分資料。在提交資料更新之前,每個事務會先檢查在該事務讀取資料後,有沒有其他事務又修改了該資料。如果其他事務有更新的話,正在提交的事務會進行回滾。樂觀事務控制最早是由孔祥重(H.T.Kung)教授提出。
樂觀鎖( Optimistic Locking ) 相對悲觀鎖而言,樂觀鎖假設認為資料一般情況下不會造成衝突,所以在資料進行提交更新的時候,才會正式對資料的衝突與否進行檢測,如果發現衝突了,則讓返回使用者錯誤的資訊,讓使用者決定如何去做。
相對於悲觀鎖,在對資料庫進行處理的時候,樂觀鎖並不會使用資料庫提供的鎖機制。一般的實現樂觀鎖的方式就是記錄資料版本。
資料版本,為資料增加的一個版本標識。當讀取資料時,將版本標識的值一同讀出,資料每更新一次,同時對版本標識進行更新。當我們提交更新的時候,判斷資料庫表對應記錄的當前版本資訊與第一次取出來的版本標識進行比對,如果資料庫表當前版本號與第一次取出來的版本標識值相等,則予以更新,否則認為是過期資料。
實現資料版本有兩種方式,第一種是使用版本號,第二種是使用時間戳。
使用版本號實現樂觀鎖
使用版本號時,可以在資料初始化時指定一個版本號,每次對資料的更新操作都對版本號執行+1操作。並判斷當前版本號是不是該資料的最新的版本號。
1.查詢出商品資訊 select (status,status,version) from t_goods where id=#{id} 2.根據商品資訊生成訂單 3.修改商品status為2 update t_goods set status=2,version=version+1 where id=#{id} and version=#{version};
優點與不足
樂觀併發控制相信事務之間的資料競爭(data race)的概率是比較小的,因此儘可能直接做下去,直到提交的時候才去鎖定,所以不會產生任何鎖和死鎖。但如果直接簡單這麼做,還是有可能會遇到不可預期的結果,例如兩個事務都讀取了資料庫的某一行,經過修改以後寫回資料庫,這時就遇到了問題。
三、CAS詳解
在說CAS之前,我們不得不提一下Java的執行緒安全問題。
執行緒安全:
眾所周知,Java是多執行緒的。但是,Java對多執行緒的支援其實是一把雙刃劍。一旦涉及到多個執行緒操作共享資源的情況時,處理不好就可能產生執行緒安全問題。執行緒安全性可能是非常複雜的,在沒有充足的同步的情況下,多個執行緒中的操作執行順序是不可預測的。
Java裡面進行多執行緒通訊的主要方式就是共享記憶體的方式,共享記憶體主要的關注點有兩個:可見性和有序性。加上覆合操作的原子性,我們可以認為Java的執行緒安全性問題主要關注點有3個:可見性、有序性和原子性。
Java記憶體模型 (JMM)解決了可見性和有序性的問題,而鎖解決了原子性的問題。這裡不再詳細介紹JMM及鎖的其他相關知識。但是我們要討論一個問題,那就是鎖到底是不是有利無弊的?
3.1 鎖存在的問題
Java在JDK1.5之前都是靠
synchronized
關鍵字
保證同步的,這種通過使用一致的鎖定協議來協調對共享狀態的訪問,可以確保無論哪個執行緒持有共享變數的鎖,都採用獨佔的方式來訪問這些變數。獨佔鎖其實就是一種悲觀鎖,所以可以說
synchronized
是悲觀鎖。
悲觀鎖機制存在以下問題:
1) 在多執行緒競爭下,加鎖、釋放鎖會導致比較多的上下文切換和排程延時,引起效能問題。 2) 一個執行緒持有鎖會導致其它所有需要此鎖的執行緒掛起。 3) 如果一個優先順序高的執行緒等待一個優先順序低的執行緒釋放鎖會導致優先順序倒置,引起效能風險。
而另一個更加有效的鎖就是樂觀鎖。所謂樂觀鎖就是,每次不加鎖而是假設沒有衝突而去完成某項操作,如果因為衝突失敗就重試,直到成功為止。
與鎖相比,
volatile
變數
是一個更輕量級的同步機制,因為在使用這些變數時不會發生上下文切換和執行緒排程等操作,但是
volatile
不能解決原子性問題,因此當一個變數依賴舊值時就不能使用
volatile
變數
。因此對於同步最終還是要回到鎖機制上來。
樂觀鎖
樂觀鎖(Optimistic Locking
)其實是一種思想。相對悲觀鎖而言,樂觀鎖假設認為資料一般情況下不會造成衝突,所以在資料進行提交更新的時候,才會正式對資料的衝突與否進行檢測,如果發現衝突了,則讓返回使用者錯誤的資訊,讓使用者決定如何去做。
上面提到的樂觀鎖的概念中其實已經闡述了他的具體實現細節:
主要就是兩個步驟:衝突檢測 和資料更新 。
其實現方式有一種比較典型的就是Compare and Swap(CAS
)。
3.2 CAS
CAS是項樂觀鎖技術,當多個執行緒嘗試使用CAS同時更新同一個變數時,只有其中一個執行緒能更新變數的值,而其它執行緒都失敗,失敗的執行緒並不會被掛起,而是被告知這次競爭中失敗,並可以再次嘗試。
CAS 操作包含三個運算元 —— 記憶體位置(V)、預期原值(A)和新值(B)。如果記憶體位置的值與預期原值相匹配,那麼處理器會自動將該位置值更新為新值。否則,處理器不做任何操作。無論哪種情況,它都會在 CAS 指令之前返回該位置的值。(在 CAS 的一些特殊情況下將僅返回 CAS 是否成功,而不提取當前值。)CAS 有效地說明了“我認為位置 V 應該包含值 A;如果包含該值,則將 B 放到這個位置;否則,不要更改該位置,只告訴我這個位置現在的值即可。”這其實和樂觀鎖的衝突檢查+資料更新的原理是一樣的。
這裡再強調一下,樂觀鎖是一種思想。CAS是這種思想的一種實現方式。
3.3 Java對CAS的支援
JDK 5之前Java語言是靠synchronized關鍵字保證同步的,這是一種獨佔鎖,也是是悲觀鎖。j在JDK1.5 中新增java.util.concurrent
(J.U.C)就是建立在CAS之上的。相對於對於synchronized
這種阻塞演算法,CAS是非阻塞演算法的一種常見實現。所以J.U.C在效能上有了很大的提升。
現代的CPU提供了特殊的指令,允許演算法執行讀-修改-寫操作,而無需害怕其他執行緒同時修改變數,因為如果其他執行緒修改變數,那麼CAS會檢測它(並失敗),演算法可以對該操作重新計算。而 compareAndSet() 就用這些代替了鎖定。
我們以java.util.concurrent
中的AtomicInteger
為例,看一下在沒有鎖的情況下是如何保證執行緒安全的。主要理解getAndIncrement
方法,該方法的作用相當於 ++i
操作。
public class AtomicInteger extends Number implements java.io.Serializable { private volatile int value; public final int get() { return value; } public final int getAndIncrement() { for (;;) { int current = get(); int next = current + 1; if (compareAndSet(current, next)) return current; } } public final boolean compareAndSet(int expect, int update) { return unsafe.compareAndSwapInt(this, valueOffset, expect, update); }
欄位value需要藉助volatile原語,保證執行緒間的資料是可見的(共享的)。這樣在獲取變數的值的時候才能直接讀取。然後來看看++i是怎麼做到的。getAndIncrement採用了CAS操作,每次從記憶體中讀取資料然後將此資料和+1後的結果進行CAS操作,如果成功就返回結果,否則重試直到成功為止。而compareAndSet利用JNI來完成CPU指令的操作。
public final boolean compareAndSet(int expect, int update) { return unsafe.compareAndSwapInt(this, valueOffset, expect, update); }
整體的過程就是這樣子的,利用CPU的CAS指令,同時藉助JNI來完成Java的非阻塞演算法。其它原子操作都是利用類似的特性完成的。
而整個J.U.C都是建立在CAS之上的,因此對於synchronized阻塞演算法,J.U.C在效能上有了很大的提升。
3.4 CAS會導致“ABA問題”:
ABA問題:
aba實際上是樂觀鎖無法解決髒資料讀取的一種體現。CAS演算法實現一個重要前提需要取出記憶體中某時刻的資料,而在下時刻比較並替換,那麼在這個時間差類會導致資料的變化。
比如說一個執行緒one從記憶體位置V中取出A,這時候另一個執行緒two也從記憶體中取出A,並且two進行了一些操作變成了B,然後two又將V位置的資料變成A,這時候執行緒one進行CAS操作發現記憶體中仍然是A,然後one操作成功。儘管執行緒one的CAS操作成功,但是不代表這個過程就是沒有問題的。
部分樂觀鎖的實現是通過版本號(version
)的方式來解決ABA問題,樂觀鎖每次在執行資料的修改操作時,都會帶上一個版本號,一旦版本號和資料的版本號一致就可以執行修改操作並對版本號執行+1
操作,否則就執行失敗。因為每次操作的版本號都會隨之增加,所以不會出現ABA問題,因為版本號只會增加不會減少。
如果連結串列的頭在變化了兩次後恢復了原值,但是不代表連結串列就沒有變化。因此AtomicStampedReference/AtomicMarkableReference就很有用了。
AtomicMarkableReference 類描述的一個<Object,Boolean>的對,可以原子的修改Object或者Boolean的值,這種資料結構在一些快取或者狀態描述中比較有用。這種結構在單個或者同時修改Object/Boolean的時候能夠有效的提高吞吐量。
AtomicStampedReference 類維護帶有整數“標誌”的物件引用,可以用原子方式對其進行更新。對比AtomicMarkableReference 類的<Object,Boolean>,AtomicStampedReference 維護的是一種類似<Object,int>的資料結構,其實就是對物件(引用)的一個併發計數(標記版本戳stamp)。但是與AtomicInteger 不同的是,此資料結構可以攜帶一個物件引用(Object),並且能夠對此物件和計數同時進行原子操作。
REFERENCE:
整理自以下部落格:
1.http://www.hollischuang.com/archives/934
2. http://www.hollischuang.com/archives/1537
3.http://www.cnblogs.com/Mainz/p/3546347.html
4.http://www.digpage.com/lock.html