1. 程式人生 > >Redis(十六):集群搭建

Redis(十六):集群搭建

客戶 link download cluster too meet nds tle 連接

一、概述

Redis3.0版本之後支持Cluster.

1.1、redis cluster的現狀

  目前redis支持的cluster特性:

  1):節點自動發現

  2):slave->master 選舉,集群容錯

  3):Hot resharding:在線分片

  4):進群管理:cluster xxx

  5):基於配置(nodes-port.conf)的集群管理

  6):ASK 轉向/MOVED 轉向機制.

1.2、redis cluster 架構

  1)redis-cluster架構圖

技術分享圖片

  架構細節:

  (1)所有的redis節點彼此互聯(PING-PONG機制),內部使用二進制協議優化傳輸速度和帶寬.

  (2)節點的fail是通過集群中超過半數的節點檢測失效時才生效.

  (3)客戶端與redis節點直連,不需要中間proxy層.客戶端不需要連接集群所有節點,連接集群中任何一個可用節點即可

  (4)redis-cluster把所有的物理節點映射到[0-16383]slot上,cluster 負責維護node<->slot<->value

2) redis-cluster選舉:容錯

技術分享圖片

  (1)領著選舉過程是集群中所有master參與,如果半數以上master節點與master節點通信超過(cluster-node-timeout),認為當前master節點掛掉.

  (2):什麽時候整個集群不可用(cluster_state:fail),當集群不可用時,所有對集群的操作做都不可用,收到((error) CLUSTERDOWN The cluster is down)錯誤

  a:如果集群任意master掛掉,且當前master沒有slave.集群進入fail狀態,也可以理解成進群的slot映射[0-16383]不完成時進入fail狀態.

  b:如果進群超過半數以上master掛掉,無論是否有slave集群進入fail狀態.

二、redis cluster安裝

1、下載和解包

1 2 3 cd /usr/local/
wget http://download.redis.io/releases/redis-3.2.1.tar.gz tar -zxvf /redis-3.2.1.tar.gz

 2、 編譯安裝

 cd redis-3.2.1
 make && make install

3、創建redis節點

測試我們選擇2臺服務器,分別為:192.168.1.237,192.168.1.238.每分服務器有3個節點。

我先在192.168.1.237創建3個節點:

技術分享圖片
  cd /usr/local/
  mkdir redis_cluster  //創建集群目錄
  mkdir 7000 7001 7002  //分別代表三個節點    其對應端口 7000 7001 7002
 //創建7000節點為例,拷貝到7000目錄
 cp /usr/local/redis-3.2.1/redis.conf  ./redis_cluster/7000/   
 //拷貝到7001目錄
 cp /usr/local/redis-3.2.1/redis.conf  ./redis_cluster/7001/   
 //拷貝到7002目錄
 cp /usr/local/redis-3.2.1/redis.conf  ./redis_cluster/7002/   
技術分享圖片

分別對7001,7002、7003文件夾中的3個文件修改對應的配置

技術分享圖片
daemonize    yes                          //redis後臺運行
pidfile  /var/run/redis_7000.pid          //pidfile文件對應7000,7002,7003
port  7000                                //端口7000,7002,7003
cluster-enabled  yes                      //開啟集群  把註釋#去掉
cluster-config-file  nodes_7000.conf      //集群的配置  配置文件首次啟動自動生成 7000,7001,7002
cluster-node-timeout  5000                //請求超時  設置5秒夠了
appendonly  yes                           //aof日誌開啟  有需要就開啟,它會每次寫操作都記錄一條日誌
技術分享圖片

在192.168.1.238創建3個節點:對應的端口改為7003,7004,7005.配置對應的改一下就可以了。

4、兩臺機啟動各節點(兩臺服務器方式一樣)

技術分享圖片
cd /usr/local
redis-server  redis_cluster/7000/redis.conf
redis-server  redis_cluster/7001/redis.conf
redis-server  redis_cluster/7002/redis.conf
redis-server  redis_cluster/7003/redis.conf
redis-server  redis_cluster/7004/redis.conf
redis-server  redis_cluster/7005/redis.conf
技術分享圖片

5、查看服務

ps -ef | grep redis #查看是否啟動成功

netstat -tnlp | grep redis #可以看到redis監聽端口

三、創建集群

前面已經準備好了搭建集群的redis節點,接下來我們要把這些節點都串連起來搭建集群。官方提供了一個工具:redis-trib.rb(/usr/local/redis-3.2.1/src/redis-trib.rb) 看後綴就知道這鳥東西不能直接執行,它是用ruby寫的一個程序,所以我們還得安裝ruby.

yum -y install ruby ruby-devel rubygems rpm-build 

再用 gem 這個命令來安裝 redis接口 gem是ruby的一個工具包.

gem install redis    //等一會兒就好了
當然,方便操作,兩臺Server都要安裝。

上面的步驟完事了,接下來運行一下redis-trib.rb

技術分享圖片
 /usr/local/redis-3.2.1/src/redis-trib.rb

Usage: redis-trib <command> <options> <arguments ...>

reshard host:port
--to <arg>
--yes
--slots <arg>
--from <arg>
check host:port
call host:port command arg arg .. arg
set-timeout host:port milliseconds
add-node new_host:new_port existing_host:existing_port
--master-id <arg>
--slave
del-node host:port node_id
fix host:port
import host:port
--from <arg>
help (show this help)
create host1:port1 ... hostN:portN
--replicas <arg>

For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node in the cluster.

技術分享圖片

看到這,應該明白了吧, 就是靠上面這些操作 完成redis集群搭建的.

確認所有的節點都啟動,接下來使用參數create 創建 (在192.168.1.237中來創建)

 /usr/local/redis-3.2.1/src/redis-trib.rb  create  --replicas  1  192.168.1.237:7000 192.168.1.237:7001  192.168.1.237:7003 192.168.1.238:7003  192.168.1.238:7004  192.168.1.238:7005

解釋下, --replicas 1 表示 自動為每一個master節點分配一個slave節點 上面有6個節點,程序會按照一定規則生成 3個master(主)3個slave(從)

前面已經提醒過的 防火墻一定要開放監聽的端口,否則會創建失敗。

運行中,提示Can I set the above configuration? (type ‘yes‘ to accept): yes //輸入yes

接下來 提示 Waiting for the cluster to join.......... 安裝的時候在這裏就一直等等等,沒反應,傻傻等半天,看這句提示上面一句,Sending Cluster Meet Message to join the Cluster.

這下明白了,我剛開始在一臺Server上去配,也是不需要等的,這裏還需要跑到Server2上做一些這樣的操作。

在192.168.1.238, redis-cli -c -p 700* 分別進入redis各節點的客戶端命令窗口, 依次輸入 cluster meet 192.168.1.238 7000……

回到Server1,已經創建完畢了。

查看一下 /usr/local/redis/src/redis-trib.rb check 192.168.1.237:7000

到這裏集群已經初步搭建好了。

四、測試

1)get 和 set數據

redis-cli -c -p 7000

進入命令窗口,直接 set hello howareyou

直接根據hash匹配切換到相應的slot的節點上。

還是要說明一下,redis集群有16383個slot組成,通過分片分布到多個節點上,讀寫都發生在master節點。

2)假設測試

果斷先把192.168.1.238服務Down掉,(192.168.1.238有1個Master, 2個Slave) , 跑回192.168.1.238, 查看一下 發生了什麽事,192.168.1.237的3個節點全部都是Master,其他幾個Server2的不見了

測試一下,依然沒有問題,集群依然能繼續工作。

原因: redis集群 通過選舉方式進行容錯,保證一臺Server掛了還能跑,這個選舉是全部集群超過半數以上的Master發現其他Master掛了後,會將其他對應的Slave節點升級成Master.

疑問: 要是掛的是192.168.1.237怎麽辦? 哥試了,cluster is down!! 沒辦法,超過半數掛了那救不了了,整個集群就無法工作了。 要是有三臺Server,每臺兩Master,切記對應的主從節點

不要放在一臺Server,別問我為什麽自己用腦子想想看,互相交叉配置主從,掛哪臺也沒事,你要說同時兩臺crash了,呵呵噠......

3)關於一致性

我還沒有這麽大膽拿redis來做數據庫持久化哥網站數據,只是拿來做cache,官網說的很清楚,Redis Cluster is not able to guarantee strong consistency.

五、安裝遇到的問題

1、

  CC adlist.o
  /bin/sh: cc: command not found
  make[1]: *** [adlist.o] Error 127
  make[1]: Leaving directory `/usr/local/redis-3.2.1/src
  make: *** [all] Error 2

解決辦法:GCC沒有安裝或版本不對,安裝一下

yum  install  gcc

2、

  zmalloc.h:50:31:
  error: jemalloc/jemalloc.h: No such file or directory
  zmalloc.h:55:2: error:

  #error "Newer version of jemalloc required"
  make[1]: *** [adlist.o] Error
  1
  make[1]: Leaving directory `/data0/src/redis-2.6.2/src
  make: *** [all]
  Error 2

解決辦法:原因是沒有安裝jemalloc內存分配器,可以安裝jemalloc 或 直接

輸入make MALLOC=libc && make install

更多問題

Redis集群搭建問題匯總

Redis(十六):集群搭建