2. 程式人生 > >Redis 4.0.1集群搭建

Redis 4.0.1集群搭建

阿新 • • 發佈：2017-09-21
alua 搭建 spa aof sha eval pretty ted 自動生成

Redis 4.0.1集群搭建

一、概述

Redis3.0版本之後支持Cluster.

1.1、redis cluster的現狀

　　目前redis支持的cluster特性：

　　1):節點自動發現

　　2):slave->master 選舉,集群容錯

　　3):Hot resharding:在線分片

　　4):進群管理:cluster xxx

　　5):基於配置(nodes-port.conf)的集群管理

　　6):ASK 轉向/MOVED 轉向機制.

1.2、redis cluster 架構

　　1)redis-cluster架構圖

技術分享

　　架構細節:

　　(1)所有的redis節點彼此互聯(PING-PONG機制),內部使用二進制協議優化傳輸速度和帶寬.

　　(2)節點的fail是通過集群中超過半數的節點檢測失效時才生效.

　　(3)客戶端與redis節點直連,不需要中間proxy層.客戶端不需要連接集群所有節點,連接集群中任何一個可用節點即可

　　(4)redis-cluster把所有的物理節點映射到[0-16383]slot上,cluster 負責維護node<->slot<->value

2) redis-cluster選舉:容錯

技術分享

　　(1)領著選舉過程是集群中所有master參與,如果半數以上master節點與master節點通信超過(cluster-node-timeout),認為當前master節點掛掉.

　　(2):什麽時候整個集群不可用(cluster_state:fail),當集群不可用時,所有對集群的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)錯誤

　　a:如果集群任意master掛掉,且當前master沒有slave.集群進入fail狀態,也可以理解成進群的slot映射[0-16383]不完成時進入fail狀態.

　　b:如果進群超過半數以上master掛掉，無論是否有slave集群進入fail狀態.

二、redis cluster安裝

1、下載和解包

1 2 3 cd /usr/local/
wget http://download.redis.io/releases/redis-3.2.1.tar.gz tar -zxvf /redis-3.2.1.tar.gz

　2、 編譯安裝

 cd redis-4.0.1
 make && make install

3、創建redis節點

測試我們選擇2臺服務器，分別為：192.168.1.237，192.168.1.238.每分服務器有3個節點。

我先在192.168.1.237創建3個節點：

技術分享 
  cd /usr/local/
  mkdir redis_cluster  //創建集群目錄
  mkdir 7000 7001 7002  //分別代表三個節點    其對應端口 7000 7001 7002
 //創建7000節點為例，拷貝到7000目錄
 cp /usr/local/redis-4.0.1/redis.conf  ./redis_cluster/7000/   
 //拷貝到7001目錄
 cp /usr/local/redis-4.0.1/redis.conf  ./redis_cluster/7001/   
 //拷貝到7002目錄
 cp /usr/local/redis-4.0.1/redis.conf  ./redis_cluster/7002/
技術分享

分別對7001，7002、7003文件夾中的3個文件修改對應的配置

技術分享 
daemonize    yes                          //redis後臺運行
pidfile  /var/run/redis_7000.pid          //pidfile文件對應7000,7002,7003
port  7000                                //端口7000,7002,7003
cluster-enabled  yes                      //開啟集群  把註釋#去掉
cluster-config-file  nodes_7000.conf      //集群的配置  配置文件首次啟動自動生成 7000,7001,7002
cluster-node-timeout  5000                //請求超時  設置5秒夠了
appendonly  yes                           //aof日誌開啟  有需要就開啟，它會每次寫操作都記錄一條日誌
技術分享

在192.168.1.238創建3個節點：對應的端口改為7003,7004,7005.配置對應的改一下就可以了。

4、兩臺機啟動各節點(兩臺服務器方式一樣)

技術分享 
cd /usr/local
redis-server  redis_cluster/7000/redis.conf
redis-server  redis_cluster/7001/redis.conf
redis-server  redis_cluster/7002/redis.conf
redis-server  redis_cluster/7003/redis.conf
redis-server  redis_cluster/7004/redis.conf
redis-server  redis_cluster/7005/redis.conf
技術分享

5、查看服務

ps -ef | grep redis #查看是否啟動成功

netstat -tnlp | grep redis #可以看到redis監聽端口

三、創建集群

前面已經準備好了搭建集群的redis節點，接下來我們要把這些節點都串連起來搭建集群。官方提供了一個工具：redis-trib.rb(/usr/local/redis-3.2.1/src/redis-trib.rb) 看後綴就知道這鳥東西不能直接執行，它是用ruby寫的一個程序，所以我們還得安裝ruby.

yum -y install ruby ruby-devel rubygems rpm-build

再用 gem 這個命令來安裝 redis接口 gem是ruby的一個工具包.

gem install redis    //等一會兒就好了
當然，方便操作，兩臺Server都要安裝。

在執行gem install redis時
提示:

    gem install redis
    ERROR:  Error installing redis:
            redis requires Ruby version >= 2.2.2.

查了查資料,CentOS7 yum庫中ruby的版本支持到 2.0.0,可gem 安裝redis需要最低是2.2.2,自己編譯的ruby源碼,再執行還是報錯…最後google結合幾篇文章解決了:
采用rvm來更新ruby:
1.安裝RVM:

    gpg2 --keyserver hkp://keys.gnupg.net --recv-keys D39DC0E3
    curl -L get.rvm.io | bash -s stable
    find / -name rvm -print

/usr/local/rvm
/usr/local/rvm/src/rvm
/usr/local/rvm/src/rvm/bin/rvm
/usr/local/rvm/src/rvm/lib/rvm
/usr/local/rvm/src/rvm/scripts/rvm
/usr/local/rvm/bin/rvm
/usr/local/rvm/lib/rvm
/usr/local/rvm/scripts/rvm

    source /usr/local/rvm/scripts/rvm

2.查看rvm庫中已知的ruby版本

    rvm list known

MRI Rubies
[ruby-]1.8.6[-p420]
[ruby-]1.8.7[-head] # security released on head
[ruby-]1.9.1[-p431]
[ruby-]1.9.2[-p330]
[ruby-]1.9.3[-p551]
[ruby-]2.0.0[-p648]
[ruby-]2.1[.10]
[ruby-]2.2[.6]
[ruby-]2.3[.3]
[ruby-]2.4[.0]
ruby-head
….
3.安裝一個ruby版本

rvm install 2.3.3

No checksum for downloaded archive, recording checksum in user configuration.
ruby-2.3.3 - #extracting rubygems-2.6.12….
ruby-2.3.3 - #removing old rubygems………
ruby-2.3.3 - #installing rubygems-2.6.12…………………….
ruby-2.3.3 - #gemset created /usr/local/rvm/gems/[email protected]
ruby-2.3.3 - #importing gemset /usr/local/rvm/gemsets/global.gems…………..|
ruby-2.3.3 - #generating global wrappers……..
ruby-2.3.3 - #gemset created /usr/local/rvm/gems/ruby-2.3.3
ruby-2.3.3 - #importing gemsetfile /usr/local/rvm/gemsets/default.gems evaluated to empty gem list
ruby-2.3.3 - #generating default wrappers……..
ruby-2.3.3 - #adjusting #shebangs for (gem irb erb ri rdoc testrb rake).
Install of ruby-2.3.3 - #complete
Ruby was built without documentation, to build it run: rvm docs generate-ri
4.使用一個ruby版本

rvm use 2.3.3

Using /usr/local/rvm/gems/ruby-2.3.3
[5].設置默認版本

rvm use 2.3.3 --default

Using /usr/local/rvm/gems/ruby-2.3.3
[6].卸載一個已知版本

rvm remove 2.0.0

查看ruby版本:

ruby --version

ruby 2.3.3p222 (2016-11-21 revision 56859) [x86_64-linux]

安裝redis:

gem install redis

Fetching: redis-4.0.0.gem (100%)
Successfully installed redis-4.0.0
Parsing documentation for redis-4.0.0
Installing ri documentation for redis-4.0.0
Done installing documentation for redis after 1 seconds
1 gem installed

上面的步驟完事了，接下來運行一下redis-trib.rb

技術分享 
 /usr/local/redis-3.2.1/src/redis-trib.rb

Usage: redis-trib <command> <options> <arguments ...>

reshard host:port
--to <arg>
--yes
--slots <arg>
--from <arg>
check host:port
call host:port command arg arg .. arg
set-timeout host:port milliseconds
add-node new_host:new_port existing_host:existing_port
--master-id <arg>
--slave
del-node host:port node_id
fix host:port
import host:port
--from <arg>
help (show this help)
create host1:port1 ... hostN:portN
--replicas <arg>

For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node in the cluster.

技術分享

看到這，應該明白了吧， 就是靠上面這些操作 完成redis集群搭建的.

確認所有的節點都啟動，接下來使用參數create 創建 (在192.168.1.237中來創建)

 /usr/local/redis-4.0.1/src/redis-trib.rb  create  --replicas  1  192.168.1.237:7000 192.168.1.237:7001  192.168.1.237:7003 192.168.1.238:7003  192.168.1.238:7004  192.168.1.238:7005

解釋下， --replicas 1 表示 自動為每一個master節點分配一個slave節點 上面有6個節點，程序會按照一定規則生成 3個master（主）3個slave(從)

前面已經提醒過的 防火墻一定要開放監聽的端口，否則會創建失敗。

運行中，提示Can I set the above configuration? (type ‘yes‘ to accept): yes //輸入yes

接下來 提示 Waiting for the cluster to join.......... 安裝的時候在這裏就一直等等等，沒反應，傻傻等半天，看這句提示上面一句，Sending Cluster Meet Message to join the Cluster.

這下明白了，我剛開始在一臺Server上去配，也是不需要等的，這裏還需要跑到Server2上做一些這樣的操作。

在192.168.1.238, redis-cli -c -p 700* 分別進入redis各節點的客戶端命令窗口， 依次輸入 cluster meet 192.168.1.238 7000……

回到Server1，已經創建完畢了。

查看一下 /usr/local/redis/src/redis-trib.rb check 192.168.1.237:7000

到這裏集群已經初步搭建好了。

四、測試

1）get 和 set數據

redis-cli -c -p 7000

進入命令窗口，直接 set hello howareyou

直接根據hash匹配切換到相應的slot的節點上。

還是要說明一下，redis集群有16383個slot組成，通過分片分布到多個節點上，讀寫都發生在master節點。

2）假設測試

果斷先把192.168.1.238服務Down掉，（192.168.1.238有1個Master, 2個Slave） , 跑回192.168.1.238, 查看一下 發生了什麽事，192.168.1.237的3個節點全部都是Master，其他幾個Server2的不見了

測試一下，依然沒有問題，集群依然能繼續工作。

原因： redis集群 通過選舉方式進行容錯，保證一臺Server掛了還能跑，這個選舉是全部集群超過半數以上的Master發現其他Master掛了後，會將其他對應的Slave節點升級成Master.

疑問： 要是掛的是192.168.1.237怎麽辦？ 哥試了，cluster is down!! 沒辦法，超過半數掛了那救不了了，整個集群就無法工作了。 要是有三臺Server，每臺兩Master，切記對應的主從節點

不要放在一臺Server,別問我為什麽自己用腦子想想看，互相交叉配置主從，掛哪臺也沒事，你要說同時兩臺crash了，呵呵噠......

3）關於一致性

我還沒有這麽大膽拿redis來做數據庫持久化哥網站數據，只是拿來做cache，官網說的很清楚，Redis Cluster is not able to guarantee strong consistency.

五、安裝遇到的問題

1、

　　CC adlist.o
　　/bin/sh: cc: command not found
　　make[1]: *** [adlist.o] Error 127
　　make[1]: Leaving directory `/usr/local/redis-3.2.1/src
　　make: *** [all] Error 2

解決辦法：GCC沒有安裝或版本不對，安裝一下

yum  install  gcc

Redis 4.0.1集群搭建

相關推薦

Redis 4.0.1集群搭建

alua 搭建 spa aof sha eval pretty ted 自動生成 Redis 4.0.1集群搭建 一、概述 Redis3.0版本之後支持Cluster. 1.1、redis cluster的現狀 　　目前redis支持的cluster特性： 　　1

CDH 6.0.1 集群搭建 「Process」

驗證 centos7.4 repo 開始 aliyun tables lock network host 這次搭建我使用的機器 os 是 Centos7.4 RH 系的下面以流的方式紀錄搭建過程以及註意事項 Step1: 配置域名相關，因為只有三臺機器組集群，所以直接使

CDH 6.0.1 集群搭建 「After install」

ice man pub ins oozie 不知道 6.0 調整 ports 集群搭建完成之後其實還有很多配置工作要做，這裏我列舉一些我去做的一些。 首先是去把 zk 的角色重新分配一下，不知道是不是我在配置的時候遺漏了什麽在啟動之後就有報警說目前只能檢查到一個節點。去將

Redis-4.0.1 哨兵模式搭建

1、建立檔案件redis-sentinel，目錄內放置如下檔案： 2、拷貝redis安裝目錄下的redis.conf到7501-7504資料夾下，分別命名，例如redis-7501.conf，分別修改這4個檔案，將裡面的對應選項分別設定 daemonize yes port 75

redis 4.0.1 | cluster集群

redis cluster安裝：cd /opt wget http://download.redis.io/releases/redis-4.0.1.tar.gz tar zxf redis-4.0.1.tar.gz cd redis-4.0.1 make集群搭建：2臺機器

Redis 4.0.1叢集搭建

一、概述    Redis3.0版本之後支援Cluster.1.1、redis cluster的現狀 　　目前redis支援的cluster特性：　　1):節點自動發現　　2):slave->master 選舉,叢集容錯　　3):Hot resharding:線上分片　　4):進群管理:cluster

redis--（五）集群搭建

nbsp image 搭建 alt 關閉 重新 技術 edi cnblogs 這裏沒有六臺虛擬機，在一臺上模擬 cluster nodes 查看當前是否是集群 集群環境關閉只能一臺臺關閉，重新創建集群環境首先把nodes-700*.com刪掉去創建r

mongoDB3.4的sharding集群搭建及JavaAPI的簡易使用

conda ole 文件 存在 ssm data lines 初始化 column 第一部分 在搭建mongoDB之前，我們要考慮幾個小問題： 1、我們搭建集群的目的是什麽？是多備份提高容錯和系統可用性還是橫向拓展存儲大規模數據還是兩者兼有？ 　　如果是為了多備份那麽選擇r

redis4.0.1集群安裝部署

com cal slots server tcl copy trunc 節點 append 安裝環境 序號 項目 值 1 OS版本 Red Hat Enterprise Linux Server release 7.1 (Maipo)

Redis 3.0原生集群部署

redis 集群 redis集群 redis3.0集群 redis3.x 下載Redis 3.x：前往下面地址選擇合適的版本下載Redis下載wget http://download.redis.io/releases/redis-3.2.0.tar.gz安裝Redis 3.xtar -x

Redis4.0.10集群搭建

sage enable wget PE 後臺 rubygems RM col clean 192.168.254.128192.168.254.129192.168.254.127註意事項安裝 GCC 編譯工具 不然會有編譯不過的問題yum install -y gcc g

redis4.0.2集群搭建

www 4.0 nsh https tps 搭建 集群 href red https://www.jianshu.com/p/2735b6a538af#redis.conf-%E9%85%8D%E7%BD%AEredis4.0.2集群搭建

Hadoop1.0之集群搭建

右鍵 等了 .html redirect sbin access save then 系列 VirtualBox虛擬機 下載地址 下載擇操作系統對應的基礎安裝包 下載擴展包（不區分操作系統） http://www.oracle.com/technetwork/cn/serv

Redis(十六)：集群搭建

客戶 link download cluster too meet nds tle 連接 一、概述 Redis3.0版本之後支持Cluster. 1.1、redis cluster的現狀 　　目前redis支持的cluster特性： 　　1):節點自動發現 　　2

CDH 6.0.1 集群 prepare 以及一些需要註意的地方

詳情 dex 獲得 管理 con mapreduce role html 如果 從這一篇文章開始會有三篇文章依次介紹集群搭建 「Before install」 「process」 「after install」 繼上一篇使用 docker 部署單機 CDH 的文章，當我們使

Centos7 編譯安裝redis-4.0.1及主從+哨兵模式

一、redis概述及哨兵模式 redis對資料快取到記憶體，實現高效快取，使用持久化模組對資料進行儲存，使用sentinel模式實現redis叢集，提供高可用服務。 下面是在巨集觀層面上哨兵模式的功能列表： ·監控：哨兵不斷的檢查master和slave是否正常的執行。

linux redis-4.0.1 圖解安裝教程

下載原始碼包 給出官網的redis下載地址 不點它也行，複製我唄： https://redis.io/download 安裝開始 1.解壓原始碼包 tar -zxvf redis-4.0.1 於是ll一下檢視如下圖所示： 2.編

Linux rhel7.0 pacemaker集群搭建和配置

環境準備 system cat sport core 方案 nfs man port 一 集群環境介紹 一 Linux 集群發展史 高可用集群的層次結構1 消息/基礎架構 corosync 2 成員關系 :監聽心跳信息，並進行處理成員關系和計算成員關系的票數等信息3 資

redis-4.0.1 源碼一鍵安裝腳本（centos 7）

inf 啟動 下載 exec var install bin cpu logfile #!/usr/bin/env bash set -e #定義下載路徑： SRC=‘/usr/local/src‘ #定義redis 目錄： REDISDIR=‘/usr/local

Mac下安裝及配置redis-4.0.1

環境搭建 1、到官網上下載redis,我下載的版本是3.0.7 官網地址：http://redis.io/ 2、將下載下來的tar.gz 壓縮包拷貝到usr/local目錄下 該目錄需要root許可權 sudo cp redis-4.0.1.tar.gz