更多內容，歡迎關注微信公眾號：全菜工程師小輝。公眾號回覆關鍵詞，領取免費學習資料。

一致性hash演算法是什麼？

一致性hash演算法，是麻省理工學院1997年提出的一種演算法，目前主要應用於分散式快取當中。
一致性hash演算法可以有效地解決分散式儲存結構下動態增加和刪除節點所帶來的問題。
在Memcached、Key-Value Store、Bittorrent DHT、LVS中都採用了一致性hash演算法，可以說一致性hash演算法是分散式系統負載均衡的首選演算法。

傳統hash演算法的弊端

常用的演算法是對hash結果取餘數 (hash() mod N)：對機器編號從0到N-1，按照自定義的hash演算法，對每個請求的hash值按N取模，得到餘數i，然後將請求分發到編號為i的機器。但這樣的演算法方法存在致命問題，如果某一臺機器宕機，那麼應該落在該機器的請求就無法得到正確的處理，這時需要將宕掉的伺服器使用演算法去除，此時候會有(N-1)/N的伺服器的快取資料需要重新進行計算；如果新增一臺機器，會有N /(N+1)的伺服器的快取資料需要進行重新計算。對於系統而言，這通常是不可接受的顛簸（因為這意味著大量快取的失效或者資料需要轉移）。

> 傳統求餘做負載均衡演算法，快取節點數由3個變成4個，快取不命中率為75%。計算方法：窮舉hash值為1-12的12個數字分別對3和4取模，然後比較發現只有前3個快取節點對應結果和之前相同，所以有75%的節點快取會失效，可能會引起快取雪崩。

一致性hash演算法

1. 首先，我們將hash演算法的值域對映成一個具有2³² 次方個桶的空間中，即0~（2³²）-1的數字空間。現在我們可以將這些數字頭尾相連，組合成一個閉合的環形。

2. 每一個快取key都可以通過Hash演算法轉化為一個32位的二進位制數，也就對應著環形空間的某一個快取區。我們把所有的快取key對映到環形空間的不同位置。

3. 我們的每一個快取節點也遵循同樣的Hash演算法，比如利用IP或者主機名做Hash，對映到環形空間當中，如下圖

4. 如何讓key和快取節點對應起來呢？很簡單，每一個key的順時針方向最近節點，就是key所歸屬的快取節點。所以圖中key1儲存於node1，key2，key3儲存於node2，key4儲存於node3。

5. 當快取的節點有增加或刪除的時候，一致性雜湊的優勢就顯現出來了。讓我們來看看實現的細節：

• 增加節點
  當快取叢集的節點有所增加的時候，整個環形空間的對映仍然會保持一致性雜湊的順時針規則，所以有一小部分key的歸屬會受到影響。

有哪些key會受到影響呢？圖中加入了新節點node4，處於node1和node2之間，按照順時針規則，從node1到node4之間的快取不再歸屬於node2，而是歸屬於新節點node4。因此受影響的key只有key2。

最終把key2的快取資料從node2遷移到node4，就形成了新的符合一致性雜湊規則的快取結構。

• 刪除節點 當快取叢集的節點需要刪除的時候（比如節點掛掉），整個環形空間的對映同樣會保持一致性雜湊的順時針規則，同樣有一小部分key的歸屬會受到影響。

有哪些key會受到影響呢？圖中刪除了原節點node3，按照順時針規則，原本node3所擁有的快取資料就需要“託付”給node3的順時針後繼節點node1。因此受影響的key只有key4。

最終把key4的快取資料從node3遷移到node1，就形成了新的符合一致性雜湊規則的快取結構。

> 說明：這裡所說的遷移並不是直接的資料遷移，而是在查詢時去找順時針的後繼節點，因快取未命中而重新整理快取。

> 計算方法：假設節點hash雜湊均勻（由於hash是散列表，所以並不是很理想），採用一致性hash演算法，快取節點從3個增加到4個時，會有0-33%的快取失效，此外新增節點不會環節所有原有節點的壓力。

一致性hash演算法的結果相比傳統hash求餘演算法已經進步很多，但可不可以改進一下呢？或者如果出現分佈不均勻的情況怎麼辦？比如下圖這樣，按順時針規則，所有的key都歸屬於統一個節點。

一致性hash演算法+虛擬節點

為了優化這種節點太少而產生的不均衡情況。一致性雜湊演算法引入了虛擬節點的概念。
所謂虛擬節點，就是基於原來的物理節點映射出N個子節點，最後把所有的子節點對映到環形空間上。

> 虛擬節點越多，分佈越均勻。使用一致性hash演算法+虛擬節點這種情況下，快取節點從3個變成4個，快取失效率為25%，而且每個節點都平均的承擔了壓力。

一致性hash演算法+虛擬節點的實現

原理理解了，實現並不難，主要是一些細節：

1. hash演算法的選擇。Java程式碼不要使用hashcode函式，這個函式結果不夠雜湊，而且會有負值需要處理。 這種計算Hash值的演算法有很多，比如CRC32_HASH、FNV1_32_HASH、KETAMA_HASH等，其中KETAMA_HASH是預設的MemCache推薦的一致性Hash演算法，用別的Hash演算法也可以，比如FNV1_32_HASH演算法的計算效率就會高一些。
2. 資料結構的選擇。根據演算法原理，我們的演算法有幾個要求：

• 要能根據hash值排序儲存
• 排序儲存要被快速查詢 （List不行）
• 排序查詢還要能方便變更 （Array不行）

另外，由於二叉樹可能極度不平衡。所以採用紅黑樹是最穩妥的實現方法。Java中直接使用TreeMap即可。

更多內容，歡迎關注微信公眾號：全菜工程師小輝。公眾號回覆關鍵詞，領取免費學習資料。

相關推薦