2. 程式人生 > >【Redis】叢集

【Redis】叢集

阿新 • • 發佈：2019-02-08

Redis 資料分割槽

Redis Cluster 採用虛擬槽分割槽，所有鍵根據雜湊函式對映到 0 - 16383 整數槽內，每一個節點負責維護一部分槽以及槽所對映的鍵值資料

特點：

  • 解耦資料和節點之間的關係，簡化了節點擴容和收縮難度
  • 節點自身維護槽的對映關係，不需要客戶端或者代理服務維護槽分割槽元資料
  • 支援節點、槽、鍵之間的對映查詢，用於資料路由、線上伸縮等場景

叢集功能限制

  1. key 批量操作支援有限，對於mset、mget等操作可能存在多個節點因此不被支援
  2. key 事務操作支援有限，只支援多key在同一節點上的事務操作
  3. key 作為資料分割槽的最小粒度，不能講一個大的鍵值物件（hash、list）對映到不同節點
  4. 不支援多資料庫空間，叢集下Redis只能使用一個數據庫空間
  5. 複製結構只支援一層，從節點只能複製主節點，不支援巢狀樹狀複製結構

搭建叢集

準備節點

  1. 每個節點開啟配置 cluster-enabled yes
  2. 啟動6個節點

節點握手

  1. 由客戶端發起命令 cluster meet {ip} {port}
  2. 對節點分別執行 cluster nodes 命令，各節點可以感知彼此存在
  3. 檢視叢集當前狀態 cluster info

分配槽

  1. 通過 cluster addslots 命令為節點分配槽
  2. 使用 cluster replicate {nodeId} 命令節點複製對應的主節點

節點通訊

通訊流程

Redis 採用P2P的Gossip協議維護元資料

  1. 叢集中每個節點都開闢一個TCP通道，用於節點之間彼此通訊
  2. 每個節點在固定週期內通過特定規則選擇幾個節點發送ping訊息
  3. 接收到ping訊息的節點用pong訊息作為響應

Gossip訊息

  • meet訊息：用於通知新節點加入
  • ping訊息：叢集內每個節點每秒向多個其它節點發送，檢測節點是否線上
  • pong訊息：作為響應訊息回覆給傳送方確認訊息正常通訊
  • fail訊息：當節點判定叢集內另一個節點下線，會想叢集內廣播一個fail訊息

節點選擇

  1. 選擇傳送訊息的節點數量：每秒執行10次，隨機選取5個節點找到最久沒有通訊節點發送ping訊息
  2. 訊息資料量：每個ping訊息 訊息頭佔用2KB左右，訊息體視叢集節點數量

叢集伸縮

擴容叢集

  1. 準備新節點：準備2個新節點，保持和叢集內配置一致，啟動節點
  2. 加入叢集：在叢集內任意節點執行 cluster meet ip port
  3. 遷移槽和資料：制定槽遷移計劃，用命令進行資料遷移，新增從節點

收縮叢集

  1. 下線遷移槽：把負責的槽遷移到其它節點
  2. 忘記節點：通知叢集內其它節點忘記下線節點，當其它節點忘記後則可關閉

請求路由

請求重定向

  1. 計算槽：根據鍵的有效部分使用CRC16函式計算出雜湊值，再取對16383的餘數，使每個鍵都可以對映到 0 - 16383 槽範圍內
  2. 槽節點查詢：Redis計算得到的鍵對應的槽後，需要查詢槽對應的節點。叢集內通過訊息交換每個節點都會知道所有節點的槽資訊

Smart 客戶端

  1. Smart客戶端通過在內部維護 slot —> node 的對映關係，本地就可以實現鍵到節點的查詢，從而保證IO效率的最大化
  2. MOVED 重定向負責協助Smart客戶端更新 slot —> node 對映

ASK 重定向

  1. 客戶端ASK重定向流程，ASK重定向說明叢集正在slot資料遷移
  2. 節點內部處理：檢查是否正在遷出；批量操作會受到影響

故障轉移

故障發現

  • 主觀下線：節點a內的定時任務檢測到與節點b的最後通訊時間超過cluster-node-timeout，則更新本地對節點b的狀態為主觀下線
  • 客觀下線：當某個節點判斷另一節點主觀下線後，節點狀態會在叢集內傳播，當半數以上持有槽的主節點都標記主觀下線，觸發客觀下線流程

故障恢復

  1. 資格檢查：根據從節點與主節點斷線時間判斷是否具備故障轉移資格
  2. 準備選舉時間：符合故障轉移資格後，更新故障選舉時間，達到時間後執行後續流程
  3. 發起選舉：更新配置紀元、廣播選舉訊息
  4. 選舉投票：只有持有槽的主節點才會處理故障選舉訊息
  5. 替換主節點：當前從節點變成主節點，撤銷故障主節點的槽，把這些槽委派給自己，然後向叢集廣播自己的訊息

相關推薦

【redis】叢集伸縮（新增刪除節點）

注：本文知識點全部來自於《redis開發與運維》這本書在加上博主本人對於redis的理解構成 一、叢集伸縮原理         Redis叢集提供了靈活的節點擴容和收縮方案。在不影響叢集對外服務的情況下，可以為叢集新增節點進行擴容也可以下線部分節點進行縮容：

【Redis】叢集

Redis 資料分割槽 Redis Cluster 採用虛擬槽分割槽，所有鍵根據雜湊函式對映到 0 - 16383 整數槽內，每一個節點負責維護一部分槽以及槽所對映的鍵值資料 特點： 解耦資料和

【Redis】redis介紹,安裝,以及叢集搭建

  1.Redis介紹 百科定義:Redis是一個開源的使用ANSI C語言編寫、支援網路、可基於記憶體亦可持久化的日誌型、Key-Value 資料庫，並提供多種語言的API。 個人理解:高效能的快取資料庫,資料存放在記憶體中,存取效能極高,有很多種應用場景,比如可以

【Redis】Could not get a resource from the pool 實乃叢集配置問題

先說些題外話~自上次確診為鼻竇炎+過敏性鼻炎到現在已經一個月了，最初那會，從下午到晚上頭疼難忍。大概是積勞成疾，以前流鼻涕、打噴嚏的時候從來沒有注意過，結果病根一下爆發。 關鍵在於鎖定問題，開始治療一兩天之後就不會頭疼了。當然，習慣也很重要，再也不敢用力擤鼻子了。 挺過那一陣就好受很多，之後就是鼻塞稍微煩

【Redis】Redis叢集搭建...爬坑日記

文章目錄前言準備爬坑準備踩過的坑爬坑日誌總結 前言 說好的更新大資料… 抱歉，加班去搞了個redis叢集… 我把搞redis踩的坑都給你們說一下… BigData 和 微服務 後續更新 小編昨晚搞到晚上

【redis】redis哨兵和高可用叢集

前言 Redis 的 主從複製 模式下，一旦 主節點 由於故障不能提供服務，需要手動將 從節點 晉升為 主節點，同時還要通知 客戶端 更新 主節點地址，這種故障處理方式從一定程度上是無法接受的。Redis 2.8 以後提供了 Redis Sentinel 哨兵機制 來解決這

【Redis】redis叢集啟動失敗案例

部署Redis分散式叢集時，出現瞭如下錯誤: [email protected]:/opt/redis-unstable/src$ ./redis-trib.rb create 192.168.1.13:6379 192.168.1.15:6380 192.16

【Redis】搭建叢集與如何使用Jedis連線叢集

1.redis-cluster架構圖 架構細節: (1)所有的redis節點彼此互聯(PING-PONG機制),內部使用二進位制協議優化傳輸速度和頻寬. (2)節點的fail是通過叢集中超過半數的節點檢測失效時才生效. (3)客戶端與redis節點直

【redis】關於叢集建立遇到的問題

1.先是下載最新版的redis: https://github.com/antirez/redis/archive/unstable.zip 2.解壓後, 執行 make & make instal; 3.修改了redis.conf, 改動點: por

【redis】redis叢集節點選舉

    Redis 叢集的鍵空間被分割為16383個槽，叢集的最大節點數也是16484個。本篇文章主要來看一下redis叢集選取情況。 一、節點資訊瞭解 為了下面看節點主從選擇的資訊，我們先來了解

【redis】redis叢集配置小結

--------2013/12/24 配了大半天的redis叢集，居然還沒有成功。一開始看起來挺順利的，依著教程(Redis 命令參考 Release2.8-huangz)，先是下載最新版本redis(https://github.com/antirez/redis，不是r

【Redis哨兵叢集】

目錄 開始配置主從複製 開始配置Redis Sentinel @ *** 在開始之前，我們先來看看Redis的主從複製 主從複製原理： 從伺服器向主伺服器傳送SYNC命令。 主伺服器接到SYNC命令後，會呼叫BGSAVE命令，建立一個RDB檔案，

【Redis】 手工搭建叢集

       上篇部落格討論了redis的主從複製的問題，使用主從複製可以提高redis的高可用性，今天我們就來看一看如何redis的另一種高可用方案—叢集，當然叢集中也少不了主從複製的身影啊。  

【Redis】2、CentOS 7 上安裝 redis3.2.3安裝與配置

sync 倉庫 ace /var/ 發現 wan sudo base str 一、redis源碼安裝 【更正】現在最新穩定的版本已經到了3.2.8 截至到2016.8.11，redis最新穩定版本為3.2.3.本篇文章我們就以此版本為基礎，進行相關的講解。 下載redis源

【redis】redis

star 範圍 sdi setnx figure -- sql語言 linu 客戶 一、redis簡介： 　　1. reids 也是一個 key-value 存儲系統，更加確切地說，它已經是一個非關系型數據庫。 　　2. 關系型。 　　　　SQL

【redis】之centos6.x安裝redis3.0.x

local con releases 新建 zxvf 分享 執行 .tar.gz all centos6.9_x86_64 1、下載redis安裝包 http://download.redis.io/releases/redis-3.2.9.tar.gz 2、解壓 tar

【Redis】Redis的常規操作命令

更改 非關系型 數據結構 過期 with 隨機 move expire rpo NoSQL是一種非關系型數據庫，非關系型數據庫庫和傳統的關系型數據庫不同，非關系性體現在不需要依賴表進行數據存儲。常見的非關系型數據庫有Redis、MonoDB、HBase等，這些是基於key-

【redis】spring boot利用redis的Keyspace Notifications實現消息通知

客戶 無效 handler mage extend width psu 消息通知 queue 前言 需求：當redis中的某個key失效的時候，把失效時的value寫入數據庫。 github： https://github.com/vergilyn/RedisSampl

【redis】基於redis實現分布式並發鎖

val 內容 等待隊列 過多 具體實現 exec ret abs con 基於redis實現分布式並發鎖（註解實現） 說明 　　前提, 應用服務是分布式或多服務, 而這些"多"有共同的"redis"; 　　GitHub: https:

【docker】【redis】2.docker上設置redis集群---Redis Cluster部署、管理和測試【集群服務】

測試 details cluster red 集群 tail .net 設置 com 參考地址：https://www.cnblogs.com/zhoujinyi/p/6477133.html https://www.cnblogs.com/cxbhakim/p/91517