1. 程式人生 > >Redis-trib.rb解析

Redis-trib.rb解析

Redis Redis-trib.rb

Redis-trib.rb –create源碼解析

一、 介紹

? Redis-trib.rb為主流的Redis管理工具,對Redis一系列命令進行了封裝通過ruby客戶端完成Create Cluster,Reshard Cluster,Add Slave,Remove Node等功能。下面我們來看下Create Cluster建立cluster集群是如何實現的。

二、 流程概覽圖

技術分享圖片

三、 節點可用性檢測

 1. 節點連通性
 2. 是否配置了cluster模式(if cluster_enabled==1?)
 3. 是否已經為其他集群成員(if cluster_known_nodes==1?)
 4. 檢查至少有三個可用節點
 5. 獲取節點信息:

通過cluster nodes 命令獲得統計信息
name,addr,flags,master_id, ping_sent,ping_recv,config_epoch,link_status,slot信息
如:
技術分享圖片

四、 主從預分配以及節點預分配

說明:Redis-trib.rb create可以盡可能的將主庫的不同節點分配到不同的機器並且可以將主從庫物理機分離,此功能的實現調用了alloc_slots函數,我們截取了部分進行分析。

技術分享圖片
第559行-562行:將節點根據ip進行歸類,dict的key為ip,value為這個ip所對應的節點信息。
第566行-577行:循環ip,每次抽取ip的一個節點放到interleaved裏。這可以盡可能讓相同節點的分開

第578行:截取interleaved裏前幾個節點作為masters_count,master_count是根據節點參數個數以及replacas個數決定的。
第585行-594行:根據節點的個數,對每個master節點所對應的slot範圍進行計算。

五、 配置集群

Redis-trib通過ruby連redis的客戶端進行配置集群

  1. 對主節點進行slot分配(addslots),cluster_state become ok and cluster_slots_assigned become not null
  2. 為每個節點設置不同的config_epoch(set-config-epoch)
  3. 節點加入集群(CLUSTER MEET)
  4. 主從配置(replicate)
  5. 等待所有節點都有相同的集群配置信息

六、 集群狀態檢測

  1. 檢查是否有open slot
    Openslot定義為slot信息為migrating或者importing,標示為->-。
    2.檢查slot是否全覆蓋


Redis-trib.rb –reshard源碼解析

一、概述

在新主節點被加入集群後,他沒有任何slot數據,需要通過reshard從其他節點中遷移些slot到新節點。

二、 流程圖

技術分享圖片

三、 關鍵步驟解析

說明:compute_reshard_table方法主要用來智能計算每個目標節點需要遷移多少slot

技術分享圖片
775行 通過slot個數對源節點進行排序,slot多的排在前面
776行-778行 計算源節點的slot總個數
779行-785行 可以看到按照節點占slot總數的百分比來遷移slot,及slot個數越多的節點將被遷移更多。還可以看到slot節點最多的節點會為slot的最大整數
786行-791行 將slot的分派到節點的信息插入moved變量中

說明:在migrate節點之前需要設置slot importing狀態和migrating狀態

技術分享圖片
?redis支持動態遷移。當slot被設置為狀態migrating狀態後,當redis client查詢節點這個slot所對應的key時,如果節點發現這個key存在直接返回值,如果發現這個key不存在自己的slot裏他會發送asking 請求告訴客戶端去遷移的目標節點查並且不更改客戶端維護的slot分布信息,當客戶端請求目標節點時該slot時都是refuse並重定向的,當請求包含asking時他就會接受這個請求並讀取key。當遷移完成,他會設置setslot node ,這個操作將會把slot遷移狀態清除並設置該slot的新的目標節點。



Redis-trib.rb --del-node

一、概述

del-node用於剔除集群中的節點。

二、流程圖

技術分享圖片

三、關鍵步驟

說明:get_master_with_least_replicas方法如果delete node有從庫,他將指定他的從庫去其他主節點。

技術分享圖片
337行 選出集群中的master
338行-341行 根據master的slave個數排序,取出最少slave的master作為目標從庫的新master

Redis-trib.rb解析