2. 程式人生 > >memcache分散式 [一致性hash演算法] 的php實現

memcache分散式 [一致性hash演算法] 的php實現

阿新 • • 發佈：2019-02-10
 最近在看一些分散式方面的文章，所以就用php實現一致性hash來練練手，以前一般用的是最原始的hash取模做 分散式，當生產過程中新增或刪除一臺memcache都會造成資料的全部失效，一致性hash就是為了解決這個問題，把失效資料降到最低，相關資料可以 google一下！
php實現效率有一定的缺失，如果要高效率，還是寫擴充套件比較好
經測試，5個memcache，每個memcache生成100個虛擬節點，set加get1000次，與單個memcache直接set加get慢5倍，所以效率一般，有待優化！
實現過程：
  • memcache的配置 ip+埠+虛擬節點序列號 做hash,使用的是crc32,形成一個閉環。
  • 對要操作的key進行crc32
  • 二分法在虛擬節點環中查詢最近的一個虛擬節點
  • 從虛擬節點中提取真實的memcache ip和埠，做單例連線

[code=PHP]
<?php

class memcacheHashMap {

private $_node = array();
private $_nodeData = array();
private $_keyNode = 0;
private $_memcache = null;

//每個物理伺服器生成虛擬節點個數 [注：節點數越多，cache分佈的均勻性越好，同時set get操作時，也更耗資源，10臺物理伺服器，採用200較為合理]
private $_virtualNodeNum = 200;


private function __construct() {

 $config = array(
'127.0.0.1:11211',
'127.0.0.1:11212',
'127.0.0.1:11213',
'127.0.0.1:11214',
'127.0.0.1:11215'
 );

 if (!$config) throw new Exception('Cache config NULL');
 foreach ($config as $key => $value) {
for ($i = 0; $i < $this->_virtualNodeNum; $i++) {
$this->_node[sprintf("%u", crc32($value . '_' . $i))] = $value . '_' . $i;

}
 }
 ksort($this->_node);
}

private function __clone(){}


static public function getInstance() {
 static $memcacheObj = null;
 if (!is_object($memcacheObj)) {
$memcacheObj = new self();
 }
 return $memcacheObj;
}


private function _connectMemcache($key) {
 $this->_nodeData = array_keys($this->_node);
 $this->_keyNode = sprintf("%u", crc32($key));
 $nodeKey = $this->_findServerNode();
 //如果超出環，從頭再用二分法查詢一個最近的，然後環的頭尾做判斷，取最接近的節點
 if ($this->_keyNode > end($this->_nodeData)) {
$this->_keyNode -= end($this->_nodeData);
$nodeKey2 = $this->_findServerNode();
if (abs($nodeKey2 - $this->_keyNode) < abs($nodeKey - $this->_keyNode)) $nodeKey = $nodeKey2;
 }
 var_dump($this->_node[$nodeKey]);
 list($config, $num) = explode('_', $this->_node[$nodeKey]);
 if (!$config) throw new Exception('Cache config Error');
 if (!isset($this->_memcache[$config])) {
$this->_memcache[$config] = new Memcache;
list($host, $port) = explode(':', $config);
$this->_memcache[$config]->connect($host, $port);
 }
 return $this->_memcache[$config];
}


private function _findServerNode($m = 0, $b = 0) {
$total = count($this->_nodeData);
if ($total != 0 && $b == 0) $b = $total - 1;
if ($m < $b){
 $avg = intval(($m+$b) / 2);
 if ($this->_nodeData[$avg] == $this->_keyNode) return $this->_nodeData[$avg];
 elseif ($this->_keyNode < $this->_nodeData[$avg] && ($avg-1 >= 0)) return $this->_findServerNode($m, $avg-1);
 else return $this->_findServerNode($avg+1, $b);
}
 if (abs($this->_nodeData[$b] - $this->_keyNode) < abs($this->_nodeData[$m] - $this->_keyNode)) return $this->_nodeData[$b];
 else return $this->_nodeData[$m];
}

public function set($key, $value, $expire = 0) {
 return $this->_connectMemcache($key)->set($key, json_encode($value), 0, $expire);
}

public function add($key, $value, $expire = 0) {
 return $this->_connectMemcache($key)->add($key, json_encode($value), 0, $expire);
}

public function get($key) {
 return json_decode($this->_connectMemcache($key)->get($key), true);
}

public function delete($key) {
 return $this->_connectMemcache($key)->delete($key);
}

}

$runData['BEGIN_TIME'] = microtime(true);
//測試一萬次set加get
for($i=0;$i<10000;$i++) {
$key = md5(mt_rand());
$b = memcacheHashMap::getInstance()->set($key, time(), 10);
}

var_dump(number_format(microtime(true) - $runData['BEGIN_TIME'],6));
$runData['BEGIN_TIME'] = microtime(true); $m= new Memcache;
$m->connect('127.0.0.1', 11211);
for($i=0;$i<10000;$i++) {
$key = md5(mt_rand());
$b = $m->set($key, time(), 0, 10);
}
var_dump(number_format(microtime(true) - $runData['BEGIN_TIME'],6));
//測試結果，採用一致性雜湊分佈效率比原生單臺速度相差5倍左右
[/code]

相關推薦

memcache分散式 [一致性hash演算法] 的php實現

 最近在看一些分散式方面的文章，所以就用php實現一致性hash來練練手，以前一般用的是最原始的hash取模做 分散式，當生產過程中新增或刪除一臺memcache都會造成資料的全部失效，一致性hash就是為了解決這個問題，把失效資料降到最低，相關資料可以 google一下！ php實現效率有一定的缺失，如

一致性hash演算法程式碼實現

什麼是一致性hash 一致性雜湊演算法(Consistent Hashing Algorithm)是一種分散式演算法，常用於負載均衡。Memcached client也選擇這種演算法，解決將key-value均勻分配到眾多Memcached server上的問題。它可以取代傳統的取模操作

分散式一致性hash演算法

寫在前面   在學習Redis的叢集內容時，看到這麼一句話：Redis並沒有使用一致性hash演算法，而是引入雜湊槽的概念。而分散式快取Memcached則是使用分散式一致性hash演算法來實現分散式儲存。所以就專門學習了一下 什麼是分散式？什麼是一致性？什麼是雜湊？   1

redis分散式一致性hash演算法

        當我們在部署redis節點時，使用者連結redis儲存資料會通過hash演算法來定位具體連結那個redis節點，在redis節點數量沒有改變的前提下，之前的使用者通過hash演算法會固定的連結某一臺redis節點，但是若此時我們增加了redis節點，使用者再次

一致性Hash演算法的實現

一致性hash作為一個負載均衡演算法，可以用在分散式快取、資料庫的分庫分表等場景中，還可以應用在負載均衡器中作為作為負載均衡演算法。在有多臺伺服器時，對於某個請求資源通過hash演算法，對映到某一個臺伺服器，當增加或減少一臺伺服器時，可能會改變這些資源對應的ha

一致性hash演算法 java實現

public class NoName { private static final Map<String,String> ipMap = new HashMap<String, String>(); private static f

圖解一致性hash演算法和實現

更多內容，歡迎關注微信公眾號：全菜工程師小輝。公眾號回覆關鍵詞，領取免費學習資料。 一致性hash演算法是什麼？ 一致性hash演

memcache客戶端實現叢集之一致性hash演算法

一致性雜湊的演算法把取餘演算法的等於號來選擇mem伺服器變成了大於號來選擇mem伺服器，這應該是才是關鍵，可以使一個鍵的mem伺服器落點變成是動態選擇（一個伺服器down掉然後選擇crc32(key)後大於這個伺服器的落點....） 新增虛擬節點，虛擬節點其實還是原來那幾臺伺服器，每個虛擬節

Nginx+Memcache+一致性hash算法 實現頁面分布式緩存（轉）

tps ons efi 策略 可擴展性 master () list roo 網站響應速度優化包括集群架構中很多方面的瓶頸因素，這裏所說的將頁面靜態化、實現分布式高速緩存就是其中的一個很好的解決方案... 1）先來看看Nginx負載均衡 Nginx負載均衡依賴自帶的 ng

分散式演算法(一致性Hash演算法)

一、分散式演算法     在做伺服器負載均衡時候可供選擇的負載均衡的演算法有很多，包括： 輪循演算法(Round Robin)、雜湊演算法(HASH)、最少連線演算法(Least Connection)、響應速度演算法(Response Time)、加權法

一致性Hash演算法，Java程式碼實現

一致性Hash演算法 關於一致性Hash演算法，在我之前的博文中已經有多次提到了，MemCache超詳細解讀一文中"一致性Hash演算法"部分，對於為什麼要使用一致性Hash演算法、一致性Hash演算法的演算法原理做了詳細的解讀。 演算法的具體原理這裡再次貼上： 先構造

twemproxy0.4原理分析-一致性hash演算法實現ketama分析

概述 本文是一致性hash演算法的一種開原始碼的實現：ketama的原始碼分析。 本文是我多年前的一篇文章整理而來，以前的那篇文章的連結可以在這裡檢視。 簡介 若我們在後臺使用NoSQL叢集，必然會涉及到key的分配問題，叢集中某臺機器宕機時如何key又該如何分配的問題。

一致性 Hash 演算法（分散式或均衡演算法）

簡介： 一致性雜湊演算法在1997年由麻省理工學院提出的一種分散式雜湊（DHT）實現演算法，設計目標是為了解決因特網中的熱點(Hot spot)問題，初衷和CARP十分類似。一致性雜湊修正了CARP使用的簡單雜湊演算法帶來的問題，使得分散式雜湊（DHT）可以在P

一致性 Hash 演算法學習（分散式或均衡演算法）

簡介： 一致性雜湊演算法在1997年由麻省理工學院提出的一種分散式雜湊（DHT）實現演算法，設計目標是為了解決因特網中的熱點(Hot spot)問題，初衷和CARP十分類似。一致性雜湊修正了CARP使用的簡單雜湊演算法帶來的問題，使得分散式雜湊（DHT）可以在P2P環境中真

對一致性Hash演算法，Java程式碼實現的深入研究

1 /** 2 * 帶虛擬節點的一致性Hash演算法 3 * @author 五月的倉頡 http://www.cnblogs.com/xrq730/ 4 */ 5 public class ConsistentHashingWithVirtualNode 6 { 7

一致性hash演算法 java程式碼實現與測試

轉載：http://blog.csdn.net/pcceo1/article/details/51493934 寫了一個一致性hash的Java實現程式碼，演算法是用別人的，據說很好，然後自己做了一個測試，用執行緒池起了1000個執行緒，每個執行緒hash10000次，模

關於什麼是一致性hash演算法

當需要分散式快取的時候，通過key的hash值分散資料儲存hash(n)%快取伺服器臺數，同時也可以快速查詢資料而不用遍歷所有的伺服器。如下圖： 但是這樣，當業務拓展想要增加一臺伺服器的話，要麼快取伺服器資料全部需要重新計算儲存 -----hash(n)%5 。 要麼需要遍歷所有快取伺服器。不夠靈活。

一致性Hash演算法的深入理解

總結： 1、使用一致性Hash演算法，儘管增強了系統的伸縮性，但是也有可能導致負載分佈不均勻，解決辦法就是使用虛擬節點代替真實節點，  2、Hash演算法的選擇上，首先我們考慮簡單的String.HashCode()方法，這個演算法的缺點是，相似的字串如N1(10.0.

分散式ID 雪花演算法JAVA實現

少年不想寫，來吧：https://github.com/singgel/SnowFlake snowflake的結構如下(每部分用-分開): 概述 分散式系統中，有一些需要使用全域性唯一ID的場景，這種時候為了防止ID衝突可以使用36位的UUID，但是UUID有一些缺點，首先他相對比

一致性Hash 分析和實現

一致性Hash 分析和實現 ---title: 1.一致性Hashdate: 2018-02-05 12:03:22categories:- 一致性Hash--- 一下分析來源於網路總結：演算法參照自己實現，共參考和指正。 一致性Hash演算法背景 　　一致性雜湊演算法在1997年由麻省理工學院的Ka