Redis實現分散式鎖與任務佇列的思路
阿新 • • 發佈：2018-12-26
一, 實現思路
1.Redis實現分散式鎖思路
思路很簡單，主要用到的redis函式是setnx()，這個應該是實現分散式鎖最主要的函式。首先是將某一任務標識名（這裡用Lock:order作為標識名的例子）作為鍵存到redis裡，併為其設個過期時間，如果是還有Lock:order請求過來，先是通過setnx()看看是否能將Lock:order插入到redis裡，可以的話就返回true，不可以就返回false。當然，在我的程式碼裡會比這個思路複雜一些，我會在分析程式碼時進一步說明。
2.Redis實現任務佇列
這裡的實現會用到上面的Redis分散式的鎖機制，主要是用到了Redis裡的有序集合這一資料結構。例如入隊時，通過zset的add()函式進行入隊，而出對時，可以用到zset的getScore()函式。另外還可以彈出頂部的幾個任務。
以上就是實現 分散式鎖 和 任務佇列 的簡單思路，如果你看完有點模稜兩可，那請看接下來的程式碼實現。
二,實現程式碼
一）先來分析Redis分散式鎖的程式碼實現
1）為避免特殊原因導致鎖無法釋放，在加鎖成功後，鎖會被賦予一個生存時間（通過lock方法的引數設定或者使用預設值），超出生存時間鎖會被自動釋放鎖的生存時間預設比較短（秒級），因此，若需要長時間加鎖，可以通過expire方法延長鎖的生存時間為適當時間，比如在迴圈內。
2）系統級的鎖當程序無論何種原因時出現crash時，作業系統會自己回收鎖，所以不會出現資源丟失，但分散式鎖不用，若一次性設定很長時間，一旦由於各種原因出現程序crash 或者其他異常導致unlock未被呼叫時，則該鎖在剩下的時間就會變成垃圾鎖，導致其他程序或者程序重啟後無法進入加鎖區域。
先看加鎖的實現程式碼：這裡需要主要兩個引數，一個是$timeout,這個是迴圈獲取鎖的等待時間，在這個時間內會一直嘗試獲取鎖知道超時，如果為0，則表示獲取鎖失敗後直接返回而不再等待；另一個重要引數的$expire，這個引數指當前鎖的最大生存時間，以秒為單位的，它必須大於0，如果超過生存時間鎖仍未被釋放，則系統會自動強制釋放。這個引數的最要作用請看上面的（1）裡的解釋。
這裡先取得當前時間，然後再獲取到鎖失敗時的等待超時的時刻(是個時間戳)，再獲取到鎖的最大生存時刻是多少。這裡redis的key用這種格式："Lock:鎖的標識名",這裡就開始進入迴圈了，先是插入資料到redis裡，使用setnx()函式，這函式的意思是，如果該鍵不存在則插入資料，將最大生存時刻作為值儲存，假如插入成功，則對該鍵進行失效時間的設定，並將該鍵放在$lockedName數組裡，返回true，也就是上鎖成功；如果該鍵存在，則不會插入操作了，這裡有一步嚴謹的操作，那就是取得當前鍵的剩餘時間，假如這個時間小於0，表示key上沒有設定生存時間（key是不會不存在的，因為前面setnx會自動建立）如果出現這種狀況，那就是程序的某個例項setnx成功後 crash 導致緊跟著的expire沒有被呼叫，這時可以直接設定expire並把鎖納為己用。如果沒設定鎖失敗的等待時間 或者 已超過最大等待時間了，那就退出迴圈，反之則 隔 $waitIntervalUs 後繼續 請求。 這就是加鎖的整一個程式碼分析。
/**
* 加鎖
* @param [type] $name 鎖的標識名
* @param integer $timeout 迴圈獲取鎖的等待超時時間，在此時間內會一直嘗試獲取鎖直到超時，為0表示失敗後直接返回不等待
* @param integer $expire 當前鎖的最大生存時間(秒)，必須大於0，如果超過生存時間鎖仍未被釋放，則系統會自動強制釋放
* @param integer $waitIntervalUs 獲取鎖失敗後掛起再試的時間間隔(微秒)
* @return [type] [description]
*/
public function lock($name, $timeout = 0, $expire = 15, $waitIntervalUs = 100000) {
if ($name == null) return false;
//取得當前時間
$now = time();
//獲取鎖失敗時的等待超時時刻
$timeoutAt = $now + $timeout;
//鎖的最大生存時刻
$expireAt = $now + $expire;
$redisKey = "Lock:{$name}";
while (true) {
//將rediskey的最大生存時刻存到redis裡，過了這個時刻該鎖會被自動釋放
$result = $this->redisString->setnx($redisKey, $expireAt);
if ($result != false) {
//設定key的失效時間
$this->redisString->expire($redisKey, $expireAt);
//將鎖標誌放到lockedNames數組裡
$this->lockedNames[$name] = $expireAt;
return true;
}
//以秒為單位，返回給定key的剩餘生存時間
$ttl = $this->redisString->ttl($redisKey);
//ttl小於0 表示key上沒有設定生存時間（key是不會不存在的，因為前面setnx會自動建立）
//如果出現這種狀況，那就是程序的某個例項setnx成功後 crash 導致緊跟著的expire沒有被呼叫
//這時可以直接設定expire並把鎖納為己用
if ($ttl < 0) {
$this->redisString->set($redisKey, $expireAt);
$this->lockedNames[$name] = $expireAt;
return true;
}
/*****迴圈請求鎖部分*****/
//如果沒設定鎖失敗的等待時間 或者 已超過最大等待時間了，那就退出
if ($timeout <= 0 || $timeoutAt < microtime(true)) break;
//隔 $waitIntervalUs 後繼續 請求
usleep($waitIntervalUs);
}
return false;
}接著看解鎖的程式碼分析：解鎖就簡單多了，傳入引數就是鎖標識，先是判斷是否存在該鎖，存在的話，就從redis裡面通過deleteKey()函式刪除掉鎖標識即可。
/**
* 解鎖
* @param [type] $name [description]
* @return [type] [description]
*/
public function unlock($name) {
//先判斷是否存在此鎖
if ($this->isLocking($name)) {
//刪除鎖
if ($this->redisString->deleteKey("Lock:$name")) {
//清掉lockedNames裡的鎖標誌
unset($this->lockedNames[$name]);
return true;
}
}
return false;
}在貼上刪除掉所有鎖的方法，其實都一個樣，多了個迴圈遍歷而已。
/**
* 釋放當前所有獲得的鎖
* @return [type] [description]
*/
public function unlockAll() {
//此標誌是用來標誌是否釋放所有鎖成功
$allSuccess = true;
foreach ($this->lockedNames as $name => $expireAt) {
if (false === $this->unlock($name)) {
$allSuccess = false;
}
}
return $allSuccess;
}以上就是用Redis實現分散式鎖的整一套思路和程式碼實現的總結和分享，這裡我附上正一個實現類的程式碼，程式碼裡我基本上對每一行進行了註釋，方便大家快速看懂並且能模擬應用。想要深入瞭解的請看整個類的程式碼：
/**
*在redis上實現分散式鎖
*/
class RedisLock {
private $redisString;
private $lockedNames = [];
public function __construct($param = NULL) {
$this->redisString = RedisFactory::get($param)->string;
}
/**
* 加鎖
* @param [type] $name 鎖的標識名
* @param integer $timeout 迴圈獲取鎖的等待超時時間，在此時間內會一直嘗試獲取鎖直到超時，為0表示失敗後直接返回不等待
* @param integer $expire 當前鎖的最大生存時間(秒)，必須大於0，如果超過生存時間鎖仍未被釋放，則系統會自動強制釋放
* @param integer $waitIntervalUs 獲取鎖失敗後掛起再試的時間間隔(微秒)
* @return [type] [description]
*/
public function lock($name, $timeout = 0, $expire = 15, $waitIntervalUs = 100000) {
if ($name == null) return false;
//取得當前時間
$now = time();
//獲取鎖失敗時的等待超時時刻
$timeoutAt = $now + $timeout;
//鎖的最大生存時刻
$expireAt = $now + $expire;
$redisKey = "Lock:{$name}";
while (true) {
//將rediskey的最大生存時刻存到redis裡，過了這個時刻該鎖會被自動釋放
$result = $this->redisString->setnx($redisKey, $expireAt);
if ($result != false) {
//設定key的失效時間
$this->redisString->expire($redisKey, $expireAt);
//將鎖標誌放到lockedNames數組裡
$this->lockedNames[$name] = $expireAt;
return true;
}
//以秒為單位，返回給定key的剩餘生存時間
$ttl = $this->redisString->ttl($redisKey);
//ttl小於0 表示key上沒有設定生存時間（key是不會不存在的，因為前面setnx會自動建立）
//如果出現這種狀況，那就是程序的某個例項setnx成功後 crash 導致緊跟著的expire沒有被呼叫
//這時可以直接設定expire並把鎖納為己用
if ($ttl < 0) {
$this->redisString->set($redisKey, $expireAt);
$this->lockedNames[$name] = $expireAt;
return true;
}
/*****迴圈請求鎖部分*****/
//如果沒設定鎖失敗的等待時間 或者 已超過最大等待時間了，那就退出
if ($timeout <= 0 || $timeoutAt < microtime(true)) break;
//隔 $waitIntervalUs 後繼續 請求
usleep($waitIntervalUs);
}
return false;
}
/**
* 解鎖
* @param [type] $name [description]
* @return [type] [description]
*/
public function unlock($name) {
//先判斷是否存在此鎖
if ($this->isLocking($name)) {
//刪除鎖
if ($this->redisString->deleteKey("Lock:$name")) {
//清掉lockedNames裡的鎖標誌
unset($this->lockedNames[$name]);
return true;
}
}
return false;
}
/**
* 釋放當前所有獲得的鎖
* @return [type] [description]
*/
public function unlockAll() {
//此標誌是用來標誌是否釋放所有鎖成功
$allSuccess = true;
foreach ($this->lockedNames as $name => $expireAt) {
if (false === $this->unlock($name)) {
$allSuccess = false;
}
}
return $allSuccess;
}
/**
* 給當前所增加指定生存時間，必須大於0
* @param [type] $name [description]
* @return [type] [description]
*/
public function expire($name, $expire) {
//先判斷是否存在該鎖
if ($this->isLocking($name)) {
//所指定的生存時間必須大於0
$expire = max($expire, 1);
//增加鎖生存時間
if ($this->redisString->expire("Lock:$name", $expire)) {
return true;
}
}
return false;
}
/**
* 判斷當前是否擁有指定名字的所
* @param [type] $name [description]
* @return boolean [description]
*/
public function isLocking($name) {
//先看lonkedName[$name]是否存在該鎖標誌名
if (isset($this->lockedNames[$name])) {
//從redis返回該鎖的生存時間
return (string)$this->lockedNames[$name] = (string)$this->redisString->get("Lock:$name");
}
return false;
}
}
Redis實現分散式鎖二）用Redis實現任務佇列的程式碼分析
1）任務佇列，用於將業務邏輯中可以非同步處理的操作放入佇列中，在其他執行緒中處理後出隊
2）佇列中使用了分散式鎖和其他邏輯，保證入隊和出隊的一致性
3）這個佇列和普通佇列不一樣，入隊時的id是用來區分重複入隊的，佇列裡面只會有一條記錄，同一個id後入的覆蓋前入的，而不是追加， 如果需求要求重複入隊當做不用的任務，請使用不同的id區分
先看入隊的程式碼分析：首先當然是對引數的合法性檢測，接著就用到上面加鎖機制的內容了，就是開始加鎖，入隊時我這裡選擇當前時間戳作為score，接著就是入隊了，使用的是zset資料結構的add()方法，入隊完成後，就對該任務解鎖，即完成了一個入隊的操作。
/**
* 入隊一個 Task
* @param [type] $name 佇列名稱
* @param [type] $id 任務id（或者其陣列）
* @param integer $timeout 入隊超時時間(秒)
* @param integer $afterInterval [description]
* @return [type] [description]
*/
public function enqueue($name, $id, $timeout = 10, $afterInterval = 0) {
//合法性檢測
if (empty($name) || empty($id) || $timeout <= 0) return false;
//加鎖
if (!$this->_redis->lock->lock("Queue:{$name}", $timeout)) {
Logger::get('queue')->error("enqueue faild becouse of lock failure: name = $name, id = $id");
return false;
}
//入隊時以當前時間戳作為 score
$score = microtime(true) + $afterInterval;
//入隊
foreach ((array)$id as $item) {
//先判斷下是否已經存在該id了
if (false === $this->_redis->zset->getScore("Queue:$name", $item)) {
$this->_redis->zset->add("Queue:$name", $score, $item);
}
}
//解鎖
$this->_redis->lock->unlock("Queue:$name");
return true;
}接著來看一下出隊的程式碼分析：出隊一個Task，需要指定它的$id 和 $score，如果$score與佇列中的匹配則出隊，否則認為該Task已被重新入隊過，當前操作按失敗處理。首先和對引數進行合法性檢測，接著又用到加鎖的功能了，然後及時出隊了，先使用getScore()從Redis裡獲取到該id的score，然後將傳入的$score和Redis裡儲存的score進行對比，如果兩者相等就進行出隊操作，也就是使用zset裡的delete()方法刪掉該任務id，最後當前就是解鎖了。這就是出隊的程式碼分析。
**
* 出隊一個Task，需要指定$id 和 $score
* 如果$score 與佇列中的匹配則出隊，否則認為該Task已被重新入隊過，當前操作按失敗處理
*
* @param [type] $name 佇列名稱
* @param [type] $id 任務標識
* @param [type] $score 任務對應score，從佇列中獲取任務時會返回一個score，只有$score和佇列中的值匹配時Task才會被出隊
* @param integer $timeout 超時時間(秒)
* @return [type] Task是否成功，返回false可能是redis操作失敗，也有可能是$score與佇列中的值不匹配（這表示該Task自從獲取到本地之後被其他執行緒入隊過）
*/
public function dequeue($name, $id, $score, $timeout = 10) {
//合法性檢測
if (empty($name) || empty($id) || empty($score)) return false;
//加鎖
if (!$this->_redis->lock->lock("Queue:$name", $timeout)) {
Logger:get('queue')->error("dequeue faild becouse of lock lailure:name=$name, id = $id");
return false;
}
//出隊
//先取出redis的score
$serverScore = $this->_redis->zset->getScore("Queue:$name", $id);
$result = false;
//先判斷傳進來的score和redis的score是否是一樣
if ($serverScore == $score) {
//刪掉該$id
$result = (float)$this->_redis->zset->delete("Queue:$name", $id);
if ($result == false) {
Logger::get('queue')->error("dequeue faild because of redis delete failure: name =$name, id = $id");
}
}
//解鎖
$this->_redis->lock->unlock("Queue:$name");
return $result;
}學過資料結構這門課的朋友都應該知道，佇列操作還有彈出頂部某個值的方法等等，這裡處理入隊出隊操作，我還實現了 獲取佇列頂部若干個Task 並將其出隊的方法，想了解的朋友可以看這段程式碼，假如看不太明白就留言，這裡我不再對其進行分析了。
/**
* 獲取佇列頂部若干個Task 並將其出隊
* @param [type] $name 佇列名稱
* @param integer $count 數量
* @param integer $timeout 超時時間
* @return [type] 返回陣列[0=>['id'=> , 'score'=> ], 1=>['id'=> , 'score'=> ], 2=>['id'=> , 'score'=> ]]
*/
public function pop($name, $count = 1, $timeout = 10) {
//合法性檢測
if (empty($name) || $count <= 0) return [];
//加鎖
if (!$this->_redis->lock->lock("Queue:$name")) {
Log::get('queue')->error("pop faild because of pop failure: name = $name, count = $count");
return false;
}
//取出若干的Task
$result = [];
$array = $this->_redis->zset->getByScore("Queue:$name", false, microtime(true), true, false, [0, $count]);
//將其放在$result數組裡 並 刪除掉redis對應的id
foreach ($array as $id => $score) {
$result[] = ['id'=>$id, 'score'=>$score];
$this->_redis->zset->delete("Queue:$name", $id);
}
//解鎖
$this->_redis->lock->unlock("Queue:$name");
return $count == 1 ? (empty($result) ? false : $result[0]) : $result;
}以上就是用Redis實現任務佇列的整一套思路和程式碼實現的總結和分享，這裡我附上正一個實現類的程式碼，程式碼裡我基本上對每一行進行了註釋，方便大家快速看懂並且能模擬應用。想要深入瞭解的請看整個類的程式碼：
/**
* 任務佇列
*
*/
class RedisQueue {
private $_redis;
public function __construct($param = null) {
$this->_redis = RedisFactory::get($param);
}
/**
* 入隊一個 Task
* @param [type] $name 佇列名稱
* @param [type] $id 任務id（或者其陣列）
* @param integer $timeout 入隊超時時間(秒)
* @param integer $afterInterval [description]
* @return [type] [description]
*/
public function enqueue($name, $id, $timeout = 10, $afterInterval = 0) {
//合法性檢測
if (empty($name) || empty($id) || $timeout <= 0) return false;
//加鎖
if (!$this->_redis->lock->lock("Queue:{$name}", $timeout)) {
Logger::get('queue')->error("enqueue faild becouse of lock failure: name = $name, id = $id");
return false;
}
//入隊時以當前時間戳作為 score
$score = microtime(true) + $afterInterval;
//入隊
foreach ((array)$id as $item) {
//先判斷下是否已經存在該id了
if (false === $this->_redis->zset->getScore("Queue:$name", $item)) {
$this->_redis->zset->add("Queue:$name", $score, $item);
}
}
//解鎖
$this->_redis->lock->unlock("Queue:$name");
return true;
}
/**
* 出隊一個Task，需要指定$id 和 $score
* 如果$score 與佇列中的匹配則出隊，否則認為該Task已被重新入隊過，當前操作按失敗處理
*
* @param [type] $name 佇列名稱
* @param [type] $id 任務標識
* @param [type] $score 任務對應score，從佇列中獲取任務時會返回一個score，只有$score和佇列中的值匹配時Task才會被出隊
* @param integer $timeout 超時時間(秒)
* @return [type] Task是否成功，返回false可能是redis操作失敗，也有可能是$score與佇列中的值不匹配（這表示該Task自從獲取到本地之後被其他執行緒入隊過）
*/
public function dequeue($name, $id, $score, $timeout = 10) {
//合法性檢測
if (empty($name) || empty($id) || empty($score)) return false;
//加鎖
if (!$this->_redis->lock->lock("Queue:$name", $timeout)) {
Logger:get('queue')->error("dequeue faild becouse of lock lailure:name=$name, id = $id");
return false;
}
//出隊
//先取出redis的score
$serverScore = $this->_redis->zset->getScore("Queue:$name", $id);
$result = false;
//先判斷傳進來的score和redis的score是否是一樣
if ($serverScore == $score) {
//刪掉該$id
$result = (float)$this->_redis->zset->delete("Queue:$name", $id);
if ($result == false) {
Logger::get('queue')->error("dequeue faild because of redis delete failure: name =$name, id = $id");
}
}
//解鎖
$this->_redis->lock->unlock("Queue:$name");
return $result;
}
/**
* 獲取佇列頂部若干個Task 並將其出隊
* @param [type] $name 佇列名稱
* @param integer $count 數量
* @param integer $timeout 超時時間
* @return [type] 返回陣列[0=>['id'=> , 'score'=> ], 1=>['id'=> , 'score'=> ], 2=>['id'=> , 'score'=> ]]
*/
public function pop($name, $count = 1, $timeout = 10) {
//合法性檢測
if (empty($name) || $count <= 0) return [];
//加鎖
if (!$this->_redis->lock->lock("Queue:$name")) {
Logger::get('queue')->error("pop faild because of pop failure: name = $name, count = $count");
return false;
}
//取出若干的Task
$result = [];
$array = $this->_redis->zset->getByScore("Queue:$name", false, microtime(true), true, false, [0, $count]);
//將其放在$result數組裡 並 刪除掉redis對應的id
foreach ($array as $id => $score) {
$result[] = ['id'=>$id, 'score'=>$score];
$this->_redis->zset->delete("Queue:$name", $id);
}
//解鎖
$this->_redis->lock->unlock("Queue:$name");
return $count == 1 ? (empty($result) ? false : $result[0]) : $result;
}
/**
* 獲取佇列頂部的若干個Task
* @param [type] $name 佇列名稱
* @param integer $count 數量
* @return [type] 返回陣列[0=>['id'=> , 'score'=> ], 1=>['id'=> , 'score'=> ], 2=>['id'=> , 'score'=> ]]
*/
public function top($name, $count = 1) {
//合法性檢測
if (empty($name) || $count < 1) return [];
//取錯若干個Task
$result = [];
$array = $this->_redis->zset->getByScore("Queue:$name", false, microtime(true), true, false, [0, $count]);
//將Task存放在數組裡
foreach ($array as $id => $score) {
$result[] = ['id'=>$id, 'score'=>$score];
}
//返回陣列
return $count == 1 ? (empty($result) ? false : $result[0]) : $result;
}
}
Redis實現任務佇列到此，這兩大塊功能基本講解完畢，對於任務佇列，你可以寫一個shell指令碼，讓伺服器定時執行某些程式，實現入隊出隊等操作.