一致性哈希算法原理
阿新 • • 發佈：2018-08-22
max-width this 是否 廣泛 不可 延遲 white .net 切割 
key1、key2、key3和server1、server2通過hash都能在這個圓環上找到自己的位置，並且通過順時針的方式來將key定位到server。按上圖來說，key1和key2存儲到server1，而key3存儲到server2。如果新增一臺server，hash後在key1和key2之間，則只會影響key1(key1將會存儲在新增的server上)，其它不變。
上圖這個圓環相當於是一個排好序的數組，我們先通過代碼來看下key1、key2、key3、server1、server2的hash值，然後再作分析：
key1、key2和key3都存儲到了server1上，這是正確的，因為是按順時針來定位。我們想像一下，所有的server其實就是一個排好序的數組(降序)：[server2, server1]，然後通過計算key的hash值來得到處於哪個server上。來分析下定位過程：如果只有一臺server，即[server]，則直接定位，取數組的第一個元素。如果有多臺server，則要先看通過key計算的hash值是否落在[server2, server1, ...]這個區間上，這個直接跟數組的第一個元素和最後一個元素比較就知道了。然後就可以通過查找來定位了。
利用一致性哈希實現
下面是一個實現一致性哈希的例子，僅僅實現了addServer和find。其實對於remove的實現跟addServer是類似的。代碼如下：
http://www.zsythink.net/archives/1182(這個白話文解釋挺好沒發轉載)
隨著memcache、Redis以及其它一些內存K/V數據庫的流行，一致性哈希也越來越被開發者所了解。因為這些內存K/V數據庫大多不提供分布式支持(本文以redis為例)，所以如果要提供多臺redis server來提供服務的話，就需要解決如何將數據分散到redis server，並且在增減redis server時如何最大化的不令數據重新分布，這將是本文討論的範疇。 取模算法 取模運算通常用於得到某個半開區間內的值：m % n = v，其中n不為0，值v的半開區間為：[0, n)。取模運算的算法hash(i) = hash(i-1) * 33 + str[i]
有了定義就容易實現了：
<?php
function myHash($str) {
// hash(i) = hash(i-1) * 33 + str[i]
$hash = 0;
$s = md5($str);
$seed = 5;
$len = 32;
for ($i = 0; $i < $len; $i++) {
// (hash << 5) + hash 相當於 hash * 33
//$hash = sprintf("%u", $hash * 33) + ord($s{$i});
//$hash = ($hash * 33 + ord($s{$i})) & 0x7FFFFFFF;
$hash = ($hash << $seed) + $hash + ord($s{$i});
}
return $hash & 0x7FFFFFFF;
}
echo myHash("test"); //輸出 786776064
利用取模實現 現在有2臺redis server，所以需要計算鍵的hash並跟2取模。比如有鍵key1和key2，代碼如下：
<?php
function myHash($str) {
// hash(i) = hash(i-1) * 33 + str[i]
$hash = 0;
$s = md5($str);
$seed = 5;
$len = 32;
for ($i = 0; $i < $len; $i++) {
// (hash << 5) + hash 相當於 hash * 33
//$hash = sprintf("%u", $hash * 33) + ord($s{$i});
//$hash = ($hash * 33 + ord($s{$i})) & 0x7FFFFFFF;
$hash = ($hash << $seed) + $hash + ord($s{$i});
}
return $hash & 0x7FFFFFFF;
}
echo "key1: " . (myHash("key1") % 2) . "\n";
echo "key2: " . (myHash("key2") % 2) . "\n";
對於key1和key2來說，同時存儲到一臺服務器上，這似乎沒什麽問題，但正因為key1和key2是始終存儲到這臺服務器上，一旦這臺服務器下線了，則這臺服務器上的數據全部要重新定位到另一臺服務器。對於增加服務器也是類似的情況。而且重新hash(之前跟2進行hash，現在是跟3進行hash)之後，結果就變掉了，導致大多數數據需要重新定位到redis server。 在服務器數量不變的時候，這種方式也是能很好的工作的。 一致性哈希 由於hash算法結果一般為unsigned int型，因此對於hash函數的結果應該均勻分布在[0,2^32-1]區間，如果我們把一個圓環用2^32 個點來進行均勻切割，首先按照hash(key)函數算出服務器(節點)的哈希值， 並將其分布到0～2^32的圓環上。 用同樣的hash(key)函數求出需要存儲數據的鍵的哈希值，並映射到圓環上。然後從數據映射到的位置開始順時針查找，將數據保存到找到的第一個服務器(節點)上。如圖所示：
<?php
function myHash($str) {
// hash(i) = hash(i-1) * 33 + str[i]
$hash = 0;
$s = md5($str);
$seed = 5;
$len = 32;
for ($i = 0; $i < $len; $i++) {
// (hash << 5) + hash 相當於 hash * 33
//$hash = sprintf("%u", $hash * 33) + ord($s{$i});
//$hash = ($hash * 33 + ord($s{$i})) & 0x7FFFFFFF;
$hash = ($hash << $seed) + $hash + ord($s{$i});
}
return $hash & 0x7FFFFFFF;
}
//echo myHash("卻道天涼好個秋~");
echo "key1: " . myHash("key1") . "\n";
echo "key2: " . myHash("key2") . "\n";
echo "key3: " . myHash("key3") . "\n";
echo "serv1: " . myHash("server1") . "\n";
echo "serv2: " . myHash("server2") . "\n";
現在我們根據hash值重新畫一張在圓環上的分布圖，如下所示：
<?php
function myHash($str) {
// hash(i) = hash(i-1) * 33 + str[i]
$hash = 0;
$s = md5($str);
$seed = 5;
$len = 32;
for ($i = 0; $i < $len; $i++) {
// (hash << 5) + hash 相當於 hash * 33
//$hash = sprintf("%u", $hash * 33) + ord($s{$i});
//$hash = ($hash * 33 + ord($s{$i})) & 0x7FFFFFFF;
$hash = ($hash << $seed) + $hash + ord($s{$i});
}
return $hash & 0x7FFFFFFF;
}
class ConsistentHash {
// server列表
private $_server_list = array();
// 延遲排序，因為可能會執行多次addServer
private $_layze_sorted = FALSE;
public function addServer($server) {
$hash = myHash($server);
$this->_layze_sorted = FALSE;
if (!isset($this->_server_list[$hash])) {
$this->_server_list[$hash] = $server;
}
return $this;
}
public function find($key) {
// 排序
if (!$this->_layze_sorted) {
asort($this->_server_list);
$this->_layze_sorted = TRUE;
}
$hash = myHash($key);
$len = sizeof($this->_server_list);
if ($len == 0) {
return FALSE;
}
$keys = array_keys($this->_server_list);
$values = array_values($this->_server_list);
// 如果不在區間內，則返回最後一個server
if ($hash <= $keys[0] || $hash >= $keys[$len - 1]) {
return $values[$len - 1];
}
foreach ($keys as $key=>$pos) {
$next_pos = NULL;
if (isset($keys[$key + 1]))
{
$next_pos = $keys[$key + 1];
}
if (is_null($next_pos)) {
return $values[$key];
}
// 區間判斷
if ($hash >= $pos && $hash <= $next_pos) {
return $values[$key];
}
}
}
}
$consisHash = new ConsistentHash();
$consisHash->addServer("serv1")->addServer("serv2")->addServer("server3");
echo "key1 at " . $consisHash->find("key1") . ".\n";
echo "key2 at " . $consisHash->find("key2") . ".\n";
echo "key3 at " . $consisHash->find("key3") . ".\n";
[php] view plain copy
print?
$ php -f test.php
key1 at server3.
key2 at server3.
key3 at serv2.
即使新增或下線服務器，也不會影響全部，只要根據hash順時針定位就可以了。
一致性哈希算法原理