2. 程式人生 > >Redis 學習筆記（十四）Redis Cluster介紹與搭建

Redis 學習筆記（十四）Redis Cluster介紹與搭建

阿新 • • 發佈：2018-12-23

Redis Cluster 介紹與搭建

1. Redis Cluster介紹

Redis Cluster是Redis的分散式解決方案，在Redis 3.0版本正式推出的，有效解決了Redis分散式方面的需求。當遇到單機記憶體、併發、流量等瓶頸時，可以採用Cluster架構達到負載均衡的目的。

1.1 資料分佈理論

分散式資料庫首要解決把整個資料集按照分割槽規則對映到多個節點的問題，即把資料集劃分到多個節點上，每個節點負責整個資料的一個子集。常見的分割槽規則有雜湊分割槽和順序分割槽。Redis Cluster採用雜湊分割槽規則，因此接下來會討論雜湊分割槽規則。常見的雜湊分割槽有以下幾種：

  • 節點取餘分割槽
  • 一致性雜湊分割槽
  • 虛擬槽分割槽

Redis Cluster採用虛擬槽分割槽，因此先介紹一下虛擬槽分割槽。

虛擬槽分割槽巧妙地使用了雜湊空間，使用分散度良好的雜湊函式把所有的資料對映到一個固定範圍內的整數集合，整數定義為槽（slot）。比如Redis Cluster槽的範圍是0 ～ 16383。槽是叢集內資料管理和遷移的基本單位。採用大範圍的槽的主要目的是為了方便資料的拆分和叢集的擴充套件，每個節點負責一定數量的槽。

1.2 Redis 資料分割槽

Redis Cluster採用虛擬槽分割槽，所有的鍵根據雜湊函式對映到0 ～ 16383，計算公式：slot = CRC16(key)&16383

。每一個節點負責維護一部分槽以及槽所對映的鍵值資料。

下圖展現一個五個節點構成的叢集，每個節點平均大約負責3276個槽，以及通過計算公式對映到對應節點的對應槽的過程。

這裡寫圖片描述

Redis虛擬槽分割槽的特定：

  • 解耦資料和節點之間的關係，簡化了節點擴容和收縮難度。
  • 節點自身維護槽的對映關係，不需要客戶端或者代理服務維護槽分割槽元資料。
  • 支援節點、槽、鍵之間的對映查詢，用於資料路由、線上伸縮等場景。

1.3 Redis 叢集功能限制

Redis叢集相對單機在功能上有一定限制。

  • key批量操作支援有限。如：MSET``MGET，目前只支援具有相同slot值的key執行批量操作。
  • key事務操作支援有限。支援多key
    在同一節點上的事務操作，不支援分佈在多個節點的事務功能。
  • key作為資料分割槽的最小粒度，因此不能將一個大的鍵值物件對映到不同的節點。如：hash、list。
  • 不支援多資料庫空間。單機下Redis支援16個數據庫，叢集模式下只能使用一個數據庫空間，即db 0。
  • 複製結構只支援一層，不支援巢狀樹狀複製結構。

2. 搭建 Redis Cluster

搭建叢集工作分為三步：

  • 準備節點
  • 節點握手
  • 分配槽

2.1 準備節點

Redis 叢集一般由多個節點組成，節點數量為6個才能保證組成完整高可用的叢集。下面給出一個節點的配置，其他的節點和該節點只是埠不同。

port 6379                               //埠
cluster-enabled yes                     //開啟叢集模式
cluster-config-file nodes-6379.conf     //叢集內部的配置檔案
cluster-node-timeout 15000              //節點超時時間，單位毫秒
// 其他配置和單機模式相同

啟動所有的節點

sudo redis-server conf/redis-6384.conf
sudo redis-server conf/redis-6383.conf
sudo redis-server conf/redis-6382.conf
sudo redis-server conf/redis-6381.conf
sudo redis-server conf/redis-6380.conf
sudo redis-server conf/redis-6379.conf

可以檢視日誌檔案

cat log/redis-6379.log
13103:M 30 May 15:02:09.577 * DB loaded from disk: 0.000 seconds
13103:M 30 May 15:02:09.578 * The server is now ready to accept connections on port 6379

有日誌檔案可得，節點已經啟動成功。這個日誌檔案是Redis伺服器普通的日誌檔案，在叢集模式下，第一次也會自動建立一個日誌檔案，由配置檔案cluster-config-file指定檔案。

叢集配置檔案的作用：當叢集內節點發生資訊變化時，如新增節點、節點下線、故障轉移等。節點會自動儲存叢集的狀態到配置檔案中。該配置檔案由Redis自行維護，不要手動修改，防止節點重啟時產生叢集資訊錯亂。

我們來檢視一下，叢集模式的日誌檔案：

cat nodes-6379.conf 
29978c0169ecc0a9054de7f4142155c1ab70258b :0 myself,master - 0 0 0 connected
vars currentEpoch 0 lastVoteEpoch 0

也可以通過客戶端連線該節點，通過命令CLUSTER NODES來檢視：

127.0.0.1:6379> CLUSTER NODES
29978c0169ecc0a9054de7f4142155c1ab70258b :6379 myself,master - 0 0 0 connected

2.2 節點握手

節點握手是指一批執行在叢集模式的節點通過Gossip協議彼此通訊，達到感知對方的過程。節點握手是叢集彼此通訊的第一步，由客戶端發起命令：cluster meet <ip> <port>

127.0.0.1:6379> CLUSTER MEET 127.0.0.1 6380
OK
// 傳送CLUSTER NODES可以檢視到已經感知到 6380 埠的節點了。
127.0.0.1:6379> CLUSTER NODES
29978c0169ecc0a9054de7f4142155c1ab70258b 127.0.0.1:6379 myself,master - 0 0 1 connected
8f285670923d4f1c599ecc93367c95a30fb8bf34 127.0.0.1:6380 master - 0 1496129041442 0 connected

讓所有的節點都互相感知：

127.0.0.1:6379> CLUSTER MEET 127.0.0.1 6381
OK
127.0.0.1:6379> CLUSTER MEET 127.0.0.1 6382
OK
127.0.0.1:6379> CLUSTER MEET 127.0.0.1 6383
OK
127.0.0.1:6379> CLUSTER MEET 127.0.0.1 6384
OK
// 已經全部感知到所有的節點
127.0.0.1:6379> CLUSTER NODES
e0c7961a1b07ab655bc31d8dfd583da565ec167d 127.0.0.1:6384 master - 0 1496129143703 0 connected
961097d6be64ebd2fd739ff719e97565a8cee7b5 127.0.0.1:6382 master - 0 1496129141678 0 connected
29978c0169ecc0a9054de7f4142155c1ab70258b 127.0.0.1:6379 myself,master - 0 0 1 connected
8f285670923d4f1c599ecc93367c95a30fb8bf34 127.0.0.1:6380 master - 0 1496129142682 3 connected
6fb7dfdb6188a9fe53c48ea32d541724f36434e9 127.0.0.1:6383 master - 0 1496129145699 4 connected
66478bda726ae6ba4e8fb55034d8e5e5804223ff 127.0.0.1:6381 master - 0 1496129147704 2 connected

當前已經使這六個節點組成叢集，但是現在還無法工作，因為叢集節點還沒有分配槽（slot）。

2.3 分配槽

可以看一下6379埠的槽個數

127.0.0.1:6379> CLUSTER INFO
cluster_state:fail
cluster_slots_assigned:0            // 被分配槽的個數為0
cluster_slots_ok:0
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:0
cluster_current_epoch:5
cluster_my_epoch:1
cluster_stats_messages_sent:479
cluster_stats_messages_received:479

接下來為節點分配槽空間。通過cluster addslots命令。

redis-cli -h 127.0.0.1 -p 6379 cluster addslots {0..5461}
OK
redis-cli -h 127.0.0.1 -p 6380 cluster addslots {5462..10922}
OK
redis-cli -h 127.0.0.1 -p 6381 cluster addslots {10923..16383}
OK

我們將16383個槽平均分配給6379、6380、6381埠的節點。再次執行CLUSTER INFO檢視一下叢集的狀態：

127.0.0.1:6379> CLUSTER INFO
cluster_state:ok                // 叢集狀態OK
cluster_slots_assigned:16384    // 已經分配了所有的槽
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:5
cluster_my_epoch:1
cluster_stats_messages_sent:1212
cluster_stats_messages_received:1212

可以通過CLUSTER NODES來檢視分配情況：

127.0.0.1:6379> CLUSTER NODES
e0c7961a1b07ab655bc31d8dfd583da565ec167d 127.0.0.1:6384 master - 0 1496129666347 0 connected
961097d6be64ebd2fd739ff719e97565a8cee7b5 127.0.0.1:6382 master - 0 1496129664844 5 connected
29978c0169ecc0a9054de7f4142155c1ab70258b 127.0.0.1:6379 myself,master - 0 0 1 connected 0-5461
8f285670923d4f1c599ecc93367c95a30fb8bf34 127.0.0.1:6380 master - 0 1496129665846 3 connected 5462-10922
6fb7dfdb6188a9fe53c48ea32d541724f36434e9 127.0.0.1:6383 master - 0 1496129661838 4 connected
66478bda726ae6ba4e8fb55034d8e5e5804223ff 127.0.0.1:6381 master - 0 1496129666848 2 connected 10923-16383

目前還有三個節點沒有使用，作為一個完整的叢集，每個負責處理槽的節點應該具有從節點，保證當主節點出現故障時，可以自動進行故障轉移。叢集模式下，首次啟動的節點和被分配槽的節點都是主節點，從節點負責複製主節點槽的資訊和相關資料。

使用cluster replicate <nodeid>在從節點上執行。

redis-cli -h 127.0.0.1 -p 6382 cluster replicate 29978c0169ecc0a9054de7f4142155c1ab70258b
OK
redis-cli -h 127.0.0.1 -p 6383 cluster replicate 8f285670923d4f1c599ecc93367c95a30fb8bf34
OK
redis-cli -h 127.0.0.1 -p 6384 cluster replicate 66478bda726ae6ba4e8fb55034d8e5e5804223ff
OK

通過CLUSTER NODES可以檢視叢集節點的狀態

127.0.0.1:6379> CLUSTER NODES
e0c7961a1b07ab655bc31d8dfd583da565ec167d 127.0.0.1:6384 slave 66478bda726ae6ba4e8fb55034d8e5e5804223ff 0 1496130082754 2 connected
961097d6be64ebd2fd739ff719e97565a8cee7b5 127.0.0.1:6382 slave 29978c0169ecc0a9054de7f4142155c1ab70258b 0 1496130080749 5 connected
29978c0169ecc0a9054de7f4142155c1ab70258b 127.0.0.1:6379 myself,master - 0 0 1 connected 0-5461
8f285670923d4f1c599ecc93367c95a30fb8bf34 127.0.0.1:6380 master - 0 1496130078744 3 connected 5462-10922
6fb7dfdb6188a9fe53c48ea32d541724f36434e9 127.0.0.1:6383 slave 8f285670923d4f1c599ecc93367c95a30fb8bf34 0 1496130079747 4 connected
66478bda726ae6ba4e8fb55034d8e5e5804223ff 127.0.0.1:6381 master - 0 1496130081751 2 connected 10923-16383

這樣就完成了一個3主3從的Redis叢集搭建。如下圖所示：

這裡寫圖片描述

本文參考：《Redis開發與運維》

相關推薦

Redis 學習筆記（十四）Redis Cluster介紹與搭建

Redis Cluster 介紹與搭建 1. Redis Cluster介紹 Redis Cluster是Redis的分散式解決方案，在Redis 3.0版本正式推出的，有效解決了Redis分散式方面的需求。當遇到單機記憶體、併發、流量等瓶頸時，可以採用Cl

Redis 學習筆記（十五）Redis Cluster 叢集擴容與收縮

Redis Cluster 叢集伸縮 1. 伸縮原理 Redis提供了靈活的節點擴容和收縮方案。在不影響叢集對外服務的情況下，可以為叢集新增節點進行擴容也可以對下線節點進行縮容。 我們在Redis Cluster 介紹與搭建這篇文章中搭建了一個三主三從

Redis學習筆記（十二）--redis運維常用命令

結果：現在變成了63，沒有冗餘。減小aof佔據的記憶體。aof中只儲存了最後一次set的value4.手動儲存rdb----save這裡要說一下在資料量大的時候bgsave寫rdb更好。5.flushdb、flushall慎用。6.info你也可以單獨info#之後的資訊來檢視對應的資訊。fork耗時：#st

Java框架spring Boot學習筆記（十四）：log4j介紹

inf alt 技術分享 images 使用 image 詳細 配置文件 -128 功能 日誌功能，通過log4j可以看到程序運行過程的詳細信息。 使用 導入log4j的jar包 復制log4j的配置文件，復制到src下面 　　　　 　　 3.設置日誌級別 　　　

《瘋狂Java講義》學習筆記（十四）類載入機制與反射

1、類的載入、連線和初始化 JVM和類 同一個JVM的所有執行緒、所有變數都處於同一個程序裡，它們都使用該JVM程序的記憶體區 當系統出現一下集中情況時，JVM程序將被終止： 程式執行到最後正常結束 程式執行到使用Sytem.exit()或Runti

OpenCV學習筆記（十四）——影象結構分析與形狀描述ImgProc

OpenCV支援大量的輪廓、邊緣、邊界的相關函式，相應的函式有moments、HuMoments、findContours、drawContours、approxPolyDP、arcLength、boundingRect、contourArea、convexHull、fit

Redis學習筆記（十一） 伺服器

Redis伺服器負責與多個客戶端建立網路通訊，處理客戶端傳送的命令請求，在資料庫中儲存客戶端執行命令所產生的資料，並通過資源管理來維持伺服器自身的運轉。   命令請求過程（以set命令為例）   1、客戶端向伺服器傳送命令請求 SET KEY VALUE。   Redis伺服器的

Redis學習筆記（十八） 叢集（下）

複製和故障轉移 Redis叢集中的節點分為主節點（master）和從節點（slave），其中主節點用於處理槽，而從節點則用於複製某個主節點，並在被複制 的主節點下線時，代替下線主節點繼續處理命令請求。 設定從節點：CLUSTER REPLICATE < node_id >可以讓接收命令的節點稱為n

如鵬網學習筆記（十四）ASP.NET

表單參數 form表單 web服務 exp 序列化 date 文字 arr 處理程序 Asp.net筆記 一、Socket類 　　進行網絡編程的類，可以在兩臺計算機之間進行網絡通訊 　　過程： 　　　　向服務器發送指令： 　　　　GET /index.html HTTP

Linux學習筆記（十四）df命令、du命令、磁盤分區

xtend du -sh image c2c 浪費 code 服務 分享 bdc 一、df #查看文件系統的使用情況第一列文件系統中tmpfs結尾的都是臨時的文件系統，文件單位默認為kb df -h 自動適應文件大小的單位free可以查看swap的使用情況 df -i 查看

Nodejs學習筆記（十四）—Mongoose介紹和入門

tar 字段名 lse number 數組 int 位置 斷開 mongod 簡介 　　Mongoose是在node.js異步環境下對mongodb進行便捷操作的對象模型工具 　　那麽要使用它，首先你得裝上node.js和mongodb,關於mongodb的安裝和操作介紹可

ASP.NET Core 2 學習筆記（十四）Filters

span ans 黃色 返回 lec red addm spn using 原文:ASP.NET Core 2 學習筆記（十四）FiltersFilter是延續ASP.NET MVC的產物，同樣保留了五種的Filter，分別是Authorization Filter、Res

javaweb學習筆記（十四）：JSP（4）

目錄   製作高仿的JSTL標籤庫之核心標籤庫 《1》xiaohua.tld檔案： 《2》依附的各個類： 《3》imitate.core.jsp檔案： 《4》瀏覽器檢視：   製作高仿的JSTL標籤庫之核心標籤庫 通過自定義標籤，製

機器學習筆記（十四）：TensorFlow實戰六（經典卷積神經網路：AlexNet ）

1 - 引言 2012年，Imagenet比賽冠軍的model——Alexnet [2]（以第一作者alex命名）。這個網路算是一個具有突破性意義的模型 首先它證明了CNN在複雜模型下的有效性，然後GPU實現使得訓練在可接受的時間範圍內得到結果，讓之後的網路模型構建變得更加複雜，並且通過

Effective_STL 學習筆記（十四） 使用 reserve 來避免沒必要的重新分配

  對於vector和string，當需要更多的空間，以realloc等價的思想來增長。類似於realloc的操作有四個部分： 　　1. 分配新的記憶體塊，它有容器目前容量的幾倍。大部分實現中，vector和string的容量以2為因數增長。 　　　也就是說，當容器必須擴充套件時，它的容量每次

python基礎教程（第三版)學習筆記（十四）

第十四章 網路程式設計   鑑於Python提供的網路工具眾多，這裡只能簡要地介紹它的網路功能。 本章首先概述Python標準庫中的一些網路模組。然後討論SocketServer和相關的類，並介紹 地介紹同時處理多個連線的各種方法。最後，簡單地說一說Twisted，這是一個使用Pyth

Python學習筆記（十四）高階變數型別--字串

1、字串定義 字串 就是 一串字元，是程式語言中表示文字的資料型別   在Python中可以使用 一對雙引號"或者一對單引號'定義一個字串 雖然可以使用\"或者\’定義字串 如果字串內部需要使用',可以使用”定義字串 可以使用 索引 獲取一個字串中

GoLang學習筆記（十四）函式的可變引數

一個函式中最多隻有一個可變引數，如果引數列表中還有其他型別的引數，則可變引數寫在最後。 語法格式： func 函式名(引數名 ...型別)[(返回值列表)]{     //函式體 } 示例一，引數不定，引數的個數是0-N個，引數型別一致，返回值1個。 注意：引數是

Android開發學習筆記（十四）基礎UI控制元件之Spinner

Spinner：彈出一個列表選擇框，供使用者選擇。繼承自ViewGroup，因為可以容納很多列表項，因此它也是一個容器控制元件。 給Spinner指定資料來源的2種方法： 一、通過指定xml檔案來指

機器學習筆記（十四）：異常檢測

目錄 1）Problem motivation 2）Gaussian distribution 3）Algorithm 4）Developing and evaluating an anomaly detection system 5）Anomaly detection vs