1. 程式人生 > >分散式理論之一:Paxos演算法的通俗理解

分散式理論之一:Paxos演算法的通俗理解

維基的簡介:Paxos演算法是萊斯利·蘭伯特(Leslie Lamport,就是 LaTeX 中的"La",此人現在在微軟研究院)於1990年提出的一種基於訊息傳遞且具有高度容錯特性的一致性演算法。

Paxos演算法目前在Google的Chubby、MegaStore、Spanner等系統中得到了應用,Hadoop中的ZooKeeper也使用了Paxos演算法,在上面的各個系統中,使用的演算法與Lamport提出的原始Paxos並不完全一樣,這個以後再慢慢分析。本博文的目的是,如何讓一個小白在半個小時之內理解Paxos演算法的思想。小白可能對數學不感興趣,對分散式的複雜理論不熟悉,只是一個入門級程式設計師。之所以想寫這篇博文,是因為自己看了網上很多介紹Paxos演算法的文章,以及部落格,包括Lamport的論文,感覺還是難以理解,大多過於複雜,本人一直認為,複雜高深的理論背後一定基於一些通用的規律,而這些通用的規律在生活中其實我們早就遇到過,甚至用過。所以,我們先忽略Paxos演算法本身,從生活中的小事開始談起。

 假如有一群驢友要決定中秋節去旅遊,這群驢友分佈在全國各地,假定一共25個人,分別在不同的省,要決定到底去拉薩、昆明、三亞等等哪個地點(會合時間中秋節已經定了,此時需要決定旅遊地)。最直接的方式當然就是建一個QQ群,大家都在裡面投票,按照少數服從多數的原則。這種方式類似於“共享記憶體”實現的一致性,實現起來簡單,但Paxos演算法不是這種場景,因為Paxos演算法認為這種方式有一個很大的問題,就是QQ伺服器掛掉怎麼辦?Paxos的原則是容錯性一定要很強。所以,Paxos的場景類似於這25個人相互之間只能發簡訊,需要解決的核心問題是,哪怕任意的一部分人(Paxos的目的其實是少於半數的人)“失聯”了,其它人也能夠在會合地點上達成一致。好了,怎麼設計呢?

這25個人找了另外的5個人(當然這5個人可以從25個人中選,這裡為了描述方便,就單拿出另外5個人),比如北京、上海、廣州、深圳、成都的5個人,25個人都給他們發簡訊,告訴自己傾向的旅遊地。這5個人相互之間可以並不通訊,只接受25個人發過來的簡訊。這25個人我們稱為驢友,那5個人稱為隊長。

先來看驢友的邏輯。驢友可以給任意5個隊長都發簡訊,發簡訊的過程分為兩個步驟:

第一步(申請階段):詢問5個隊長,試圖與隊長溝通旅遊地。因為每個隊長一直會收到不同驢友的簡訊,不能跟多個驢友一起溝通,在任何時刻只能跟一個驢友溝通,按照什麼原則才能做到公平公正公開呢?這些簡訊都帶有傳送時間,隊長採用的原則是同意與簡訊傳送時間最新的驢友溝通,如果出現了更新的簡訊,則與簡訊更新的驢友溝通。總之,作為一個有話語權的人,只有時刻保持傾聽最新的呼聲,才能做出最明智的選擇。在驢友發出簡訊後,等著隊長回覆。某些隊長可能會回覆說,你這條簡訊太老了,我不與你溝通;有些隊長則可能返回說,你的簡訊是我收到的最新的,我同意跟你溝通。對於後面這些隊長,還得返回自己決定的旅遊地。關於隊長是怎麼決定旅遊地的,後面再說。

對於驢友來說,第一步必須至少有半數以上隊長都同意溝通了,才能進入下一步。否則,你連溝通的資格都沒有,一直在那兒狂發吧。你發的簡訊更新,你獲得溝通權的可能性才更大。。。。。。

因為至少有半數以上隊長(也就是3個隊長以上)同意,你才能與隊長們進行實質性的溝通,也就是進入第二步;而隊長在任何時候只能跟1個驢友溝通,所以,在任何時候,不可能出現兩個驢友都達到了這個狀態。。。當然,你可以通過狂發簡訊把溝通權搶了。。。。

對於獲得溝通權的那個驢友(稱為A),那些隊長會給他傳送他們自己決定的旅遊地(也可能都還沒有決定)。可以看出,各個隊長是自己決定旅遊地的,隊長之間無需溝通。

第二步(溝通階段):這個幸運的驢友收到了隊長們給他發的旅遊地,可能有幾種情況:

第一種情況:跟A溝通的隊長們(不一定是全部5個隊長,但是半數以上)全部都還沒有決定到底去那兒旅遊,此時驢友A心花怒放,給這些隊長髮第二條簡訊,告訴他們自己希望的旅遊地(比如馬爾地夫);

可能會收到兩種結果:一是半數以上隊長都同意了,於是表明A建議的馬爾地夫被半數以上隊長都同意了,整個決定過程完畢了,其它驢友遲早會知道這個訊息的,A先去收拾東西準備去馬爾地夫;除此之外,表明失敗。可能隊長出故障了,比如某個隊長在跟女朋友打電話等等,也可能被其它驢友搶佔溝通權了(因為隊長喜新厭舊嘛,只有要更新的驢友給自己發簡訊,自己就與新人溝通,A的建議隊長不同意)等等。不管怎麼說,苦逼的A還得重新從第一步開始,重新給隊長們發簡訊申請。

第二種情況:至少有一個隊長已經決定旅遊地了,A可能會收到來自不同隊長決定的多個旅遊地,這些旅遊地是不同隊長跟不同驢友在不同時間上做出的決定,那麼,A會先看一下,是不是有的旅遊地已經被半數以上隊長同意了(比如3個隊長都同意去三亞,1個同意去昆明,另外一個沒搭理A),如果出現了這種情況,那就別扯了,說明整個決定過程已經達成一致了,收拾收拾準備去三亞吧,結束了;如果都沒有達到半數以上(比如1個同意去昆明,1個同意去三亞,2個同意去拉薩,1個沒搭理我),A作為一個高素質驢友,也不按照自己的意願亂來了(Paxos的關鍵所在,後者認同前者,否則整個決定過程永無止境),雖然自己原來可能想去馬爾地夫等等。就給隊長們發第二條簡訊的時候,告訴他們自己希望的旅遊地,就是自己收到的那堆旅遊地中最新決定的那個。(比如,去昆明那個是北京那個隊長前1分鐘決定的,去三亞的決定是上海那個隊長1個小時之前做出來的,於是頂昆明)。驢友A的想法是,既然有隊長已經做決定了,那我就乾脆頂最新那個決定。

從上面的邏輯可以看出,一旦某個時刻有半數以上隊長同意了某個地點比如昆明,緊跟著後面的驢友B繼續發簡訊時,如果獲得溝通權,因為半數以上隊長都同意與B溝通了,說明B收到了來自半數以上隊長髮過來的訊息,B必然會收到至少一個隊長給他發的昆明這個結果(否則說明半數以上隊長都沒有同意昆明這個結果,這顯然與前面的假設矛盾),B於是會頂這個最新地點,不會更改,因為後面的驢友都會頂昆明,因此同意昆明的隊長越來越多,最終必然達成一致。

看完了驢友的邏輯,那麼隊長的邏輯是什麼呢?

隊長的邏輯比較簡單。

在申請階段,隊長只會選擇與最新發申請簡訊的驢友溝通,隊長知道自己接收到最新簡訊的時間,對於更老的簡訊,隊長不會搭理;隊長同意溝通了的話,會把自己決定的旅遊地(或者還沒決定這一資訊)發給驢友。

在溝通階段,驢友C會把自己希望的旅遊地發過來(同時會附加上自己申請簡訊的時間,比如3分鐘前),所以隊長要檢查一下,如果這個時間(3分鐘前)確實是當前自己最新接收到申請簡訊的時間(說明這段時間沒有驢友要跟自己溝通),那麼,隊長就同意驢友C的這個旅遊地了(比如昆明,哪怕自己1個小時前已經做過去三亞的決定,誰讓C更新呢,於是更新為昆明);如果不是最新的,說明這3分鐘內又有其它驢友D跟自己申請了,因為自己是個喜新厭舊的傢伙,同意與D溝通了,所以驢友C的決定自己不會同意,等著D一會兒要發過來的決定吧。

Paxos的基本思想大致就是上面的過程。可以看出,其實驢友的策略才是Paxos的關鍵。讓我們來跟理論對應一下。

Paxos主要用於保證分散式儲存中副本(或者狀態)的一致性。副本要保持一致,那麼,所有副本的更新序列就要保持一致。因為資料的增刪改查操作一般都存在多個客戶端併發操作,到底哪個客戶端先做,哪個客戶端後做,這就是更新順序。如果不是分散式,那麼可以利用加鎖的方法,誰先申請到鎖,誰就先操作。但是在分散式條件下,存在多個副本,如果依賴申請鎖+副本同步更新完畢再釋放鎖,那麼需要有分配鎖的這麼一個節點(如果是多個鎖分配節點,那麼又出現分散式鎖管理的需求,把鎖給哪一個客戶端又成為一個難點),這個節點又成為單點,豈不是可靠性不行了,失去了分散式多副本的意義,同時效能也很差,另外,還會出現死鎖等情況。

所以,說來說去,只有解決分散式條件下的一致性問題,似乎才能解決本質問題。

如上面的例子,Paxos解決這一問題利用的是選舉,少數服從多數的思想,只要2N+1個節點中,有N個以上同意了某個決定,則認為系統達到了一致,並且按照Paxos原則,最終理論上也達到了一致,不會再改變。這樣的話,客戶端不必與所有伺服器通訊,選擇與大部分通訊即可;也無需伺服器都全部處於工作狀態,有一些伺服器掛掉,只有保證半數以上存活著,整個過程也能持續下去,容錯性相當好。因此,以前看有的部落格說在部署ZooKeeper這種服務的時候,需要奇數臺機器,這種說法當然有一定來源背景,比如如果是5臺,那麼任意客戶端與任意其中3臺達成一致就相當於投票結束,不過6臺有何不可?只是此時需要與4臺以上達成一致。

Paxos中的Acceptor就相當於上面的隊長,Proposer就相當於上面的驢友,epoch編號就相當於例子中申請簡訊的傳送時間。關於Paxos的正式描述已經很多了,這裡就不復述了,關於Paxos正確性的證明,因為比較複雜,以後有時間再分析。另外,Paxos最消耗時間的地方就在於需要半數以上同意溝通了才能進入第二步,試想一下,一開始,所有驢友就給隊長狂發簡訊,每個隊長收到的最新簡訊的是不同驢友,這樣,就難以達到半數以上都同意與某個驢友溝通的狀態,為了減小這個時間,Paxos還有Fast Paxos的改進等等,有空再分析。

倒是有一些問題可以思考一下:在Paxos之前,或者說除了Chubby,ZooKeeper這些系統,其它分散式系統同樣面臨這樣的一致性問題,比如HDFS、分散式資料庫、Amazon的Dynamo等等,解決思路又不同,有空再進行對比分析。

最後談談一致性這個名詞。

關於Paxos說的一致性,個人理解是指冗餘副本(或狀態等,但都是因為存在冗餘)的一致性。這與關係型資料庫中ACID的一致性說的不是一個東西。在關係資料庫裡,可以連副本都沒有,何談副本的一致性?按照經典定義,ACID中的C指的是在一個事務中,事務執行的結果必須是使資料庫從一個一致性狀態變到另一個一致性狀態。那麼,什麼又是一致性狀態呢,這跟業務約束有關係,比如經典的轉賬事務,事務處理完畢後,不能出現一個賬戶錢被扣了,另一個賬戶的錢沒有增加的情況,如果兩者加起來的錢還是等於轉賬前的錢,那麼就是一致性狀態。

從很多博文來看,對這兩種一致性往往混淆起來。另外,CAP原則裡面所說的一致性,個人認為是指副本一致性,與Paxos裡面的一致性接近。都是處理“因為冗餘資料的存在而需要保證多個副本保持一致”的問題,NoSQL放棄的強一致性也是指副本一致性,最終一致性也是指副本達到完全相同存在一定延時。

當然,如果資料庫本身是分散式的,且存在冗餘副本,則除了解決事務在業務邏輯上的一致性問題外,同時需要解決副本一致性問題,此時可以利用Paxos協議。但解決了副本一致性問題,還不能完全解決業務邏輯一致性;如果是分散式資料庫,但並不存在副本的情況,事務的一致性需要根據業務約束進行設計。

另外,談到Paxos時,還會涉及到拜占庭將軍問題,它指的是在存在訊息丟失的不可靠通道上試圖通過訊息傳遞的方式達到一致性是不可能的。Paxos本身就是利用訊息傳遞方式解決一致性問題的,所以它的假定是通道必須可靠,這裡的可靠,主要指訊息不會被篡改。訊息丟失是允許的。

關於一致性、事務的ACID,CAP,NoSQL等等問題,以後再詳細分析。本文的描述也許可能存在一些舉例不太恰當的地方,如果錯誤,歡迎批評指正。