Redis 3.2.1叢集搭建
一、概述
Redis3.0版本之後支援Cluster.
1.1、redis cluster的現狀
目前redis支援的cluster特性：
1):節點自動發現
2):slave->master 選舉,叢集容錯
3):Hot resharding:線上分片
4):進群管理:cluster xxx
5):基於配置(nodes-port.conf)的叢集管理
6):ASK 轉向/MOVED 轉向機制.
1.2、redis cluster 架構
1)redis-cluster架構圖
架構細節:
(1)所有的redis節點彼此互聯(PING-PONG機制),內部使用二進位制協議優化傳輸速度和頻寬.
(2)節點的fail是通過叢集中超過半數的節點檢測失效時才生效.
(3)客戶端與redis節點直連,不需要中間proxy層.客戶端不需要連線叢集所有節點,連線叢集中任何一個可用節點即可
(4)redis-cluster把所有的物理節點對映到[0-16383]slot上,cluster 負責維護node<->slot<->value
2) redis-cluster選舉:容錯
(1)領著選舉過程是叢集中所有master參與,如果半數以上master節點與master節點通訊超過(cluster-node-timeout),認為當前master節點掛掉.
(2):什麼時候整個叢集不可用(cluster_state:fail),當叢集不可用時,所有對叢集的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)錯誤
a:如果叢集任意master掛掉,且當前master沒有slave.叢集進入fail狀態,也可以理解成進群的slot對映[0-16383]不完成時進入fail狀態.
b:如果進群超過半數以上master掛掉，無論是否有slave叢集進入fail狀態.
二、redis cluster安裝
1、下載和解包
|
1 2 3 |
|
2、 編譯安裝
cd redis-3.2.1 make && make install
3、建立redis節點
測試我們選擇2臺伺服器，分別為：192.168.1.237，192.168.1.238.每分伺服器有3個節點。
我先在192.168.1.237建立3個節點：
cd /usr/local/ mkdir redis_cluster //建立叢集目錄 mkdir 7000 7001 7002 //分別代表三個節點 其對應埠 7000 7001 7002 //建立7000節點為例，拷貝到7000目錄 cp /usr/local/redis-3.2.1/redis.conf ./redis_cluster/7000/ //拷貝到7001目錄 cp /usr/local/redis-3.2.1/redis.conf ./redis_cluster/7001/ //拷貝到7002目錄 cp /usr/local/redis-3.2.1/redis.conf ./redis_cluster/7002/
分別對7001，7002、7003資料夾中的3個檔案修改對應的配置
daemonize yes //redis後臺執行 pidfile /var/run/redis_7000.pid //pidfile檔案對應7000,7002,7003 port 7000 //埠7000,7002,7003 cluster-enabled yes //開啟叢集 把註釋#去掉 cluster-config-file nodes_7000.conf //叢集的配置 配置檔案首次啟動自動生成 7000,7001,7002 cluster-node-timeout 5000 //請求超時 設定5秒夠了 appendonly yes //aof日誌開啟 有需要就開啟，它會每次寫操作都記錄一條日誌
在192.168.1.238建立3個節點：對應的埠改為7003,7004,7005.配置對應的改一下就可以了。
4、兩臺機啟動各節點(兩臺伺服器方式一樣)
cd /usr/local redis-server redis_cluster/7000/redis.conf redis-server redis_cluster/7001/redis.conf redis-server redis_cluster/7002/redis.conf redis-server redis_cluster/7003/redis.conf redis-server redis_cluster/7004/redis.conf redis-server redis_cluster/7005/redis.conf
5、檢視服務
ps -ef | grep redis #檢視是否啟動成功
netstat -tnlp | grep redis #可以看到redis監聽埠
三、建立叢集
前面已經準備好了搭建叢集的redis節點，接下來我們要把這些節點都串連起來搭建叢集。官方提供了一個工具：redis-trib.rb(/usr/local/redis-3.2.1/src/redis-trib.rb) 看字尾就知道這鳥東西不能直接執行，它是用ruby寫的一個程式，所以我們還得安裝ruby.
yum -y install ruby ruby-devel rubygems rpm-build
再用 gem 這個命令來安裝 redis介面 gem是ruby的一個工具包.
gem install redis //等一會兒就好了 當然，方便操作，兩臺Server都要安裝。
上面的步驟完事了，接下來執行一下redis-trib.rb
/usr/local/redis-3.2.1/src/redis-trib.rb
Usage: redis-trib <command> <options> <arguments ...>
reshard host:port
--to <arg>
--yes
--slots <arg>
--from <arg>
check host:port
call host:port command arg arg .. arg
set-timeout host:port milliseconds
add-node new_host:new_port existing_host:existing_port
--master-id <arg>
--slave
del-node host:port node_id
fix host:port
import host:port
--from <arg>
help (show this help)
create host1:port1 ... hostN:portN
--replicas <arg>
For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node in the cluster.
看到這，應該明白了吧， 就是靠上面這些操作 完成redis叢集搭建的.
確認所有的節點都啟動，接下來使用引數create 建立 (在192.168.1.237中來建立)
/usr/local/redis-3.2.1/src/redis-trib.rb create --replicas 1 192.168.1.237:7000 192.168.1.237:7001 192.168.1.237:7003 192.168.1.238:7003 192.168.1.238:7004 192.168.1.238:7005
解釋下， --replicas 1 表示 自動為每一個master節點分配一個slave節點 上面有6個節點，程式會按照一定規則生成 3個master（主）3個slave(從)
前面已經提醒過的 防火牆一定要開放監聽的埠，否則會建立失敗。
執行中，提示Can I set the above configuration? (type 'yes' to accept): yes //輸入yes
接下來 提示 Waiting for the cluster to join.......... 安裝的時候在這裡就一直等等等，沒反應，傻傻等半天，看這句提示上面一句，Sending Cluster Meet Message to join the Cluster.
這下明白了，我剛開始在一臺Server上去配，也是不需要等的，這裡還需要跑到Server2上做一些這樣的操作。
在192.168.1.238, redis-cli -c -p 700* 分別進入redis各節點的客戶端命令視窗， 依次輸入 cluster meet 192.168.1.238 7000……
回到Server1，已經建立完畢了。
檢視一下 /usr/local/redis/src/redis-trib.rb check 192.168.1.237:7000
到這裡叢集已經初步搭建好了。
四、測試
1）get 和 set資料
redis-cli -c -p 7000
進入命令視窗，直接 set hello howareyou
直接根據hash匹配切換到相應的slot的節點上。
還是要說明一下，redis叢集有16383個slot組成，通過分片分佈到多個節點上，讀寫都發生在master節點。
2）假設測試
果斷先把192.168.1.238服務Down掉，（192.168.1.238有1個Master, 2個Slave） , 跑回192.168.1.238, 檢視一下 發生了什麼事，192.168.1.237的3個節點全部都是Master，其他幾個Server2的不見了
測試一下，依然沒有問題，叢集依然能繼續工作。
原因： redis叢集 通過選舉方式進行容錯，保證一臺Server掛了還能跑，這個選舉是全部叢集超過半數以上的Master發現其他Master掛了後，會將其他對應的Slave節點升級成Master.
疑問： 要是掛的是192.168.1.237怎麼辦？ 哥試了，cluster is down!! 沒辦法，超過半數掛了那救不了了，整個叢集就無法工作了。 要是有三臺Server，每臺兩Master，切記對應的主從節點
不要放在一臺Server,別問我為什麼自己用腦子想想看，互相交叉配置主從，掛哪臺也沒事，你要說同時兩臺crash了，呵呵噠......
3）關於一致性
我還沒有這麼大膽拿redis來做資料庫持久化哥網站資料，只是拿來做cache，官網說的很清楚，Redis Cluster is not able to guarantee strong consistency.
五、安裝遇到的問題
1、
CC adlist.o
/bin/sh: cc: command not found
make[1]: *** [adlist.o] Error 127
make[1]: Leaving directory `/usr/local/redis-3.2.1/src
make: *** [all] Error 2
解決辦法：GCC沒有安裝或版本不對，安裝一下
yum install gcc
2、
zmalloc.h:50:31:
error: jemalloc/jemalloc.h: No such file or directory
zmalloc.h:55:2: error:
#error "Newer version of jemalloc required"
make[1]: *** [adlist.o] Error
1
make[1]: Leaving directory `/data0/src/redis-2.6.2/src
make: *** [all]
Error 2
解決辦法：原因是沒有安裝jemalloc記憶體分配器，可以安裝jemalloc 或 直接
輸入make MALLOC=libc && make install
記住該記住的,忘記該忘記的,改變能改變的,接受不能改變的!