2. 程式人生 > >redis的分散式解決方式--codis （轉）

redis的分散式解決方式--codis （轉）

阿新 • • 發佈：2018-12-25

codis是豌豆莢開源的分散式server。眼下處於穩定階段。

原文地址：https://github.com/wandoulabs/codis/blob/master/doc/tutorial_zh.md

Codis 是一個分散式 Redis 解決方式, 對於上層的應用來說, 連線到 Codis Proxy 和連線原生的 Redis Server 沒有明顯的差別 (不支援的命令列表), 上層應用能夠像使用單機的 Redis 一樣使用, Codis 底層會處理請求的轉發, 不停機的資料遷移等工作, 全部後邊的一切事情, 對於前面的client來說是透明的, 能夠簡單的覺得後邊連線的是一個記憶體無限大的 Redis 服務.

基本框架例如以下：

Codis 由四部分組成:

Codis Proxy (codis-proxy)
Codis Manager (codis-config)
Codis Redis (codis-server)
ZooKeeper

codis-proxy 是client連線的 Redis 代理服務, codis-proxy 本身實現了 Redis 協議, 表現得和一個原生的 Redis 沒什麼差別 (就像 Twemproxy), 對於一個業務來說, 能夠部署多個 codis-proxy, codis-proxy 本身是無狀態的.

codis-config 是 Codis 的管理工具, 支援包含, 加入/刪除 Redis 節點, 加入/刪除 Proxy 節點, 發起資料遷移等操作. codis-config 本身還自帶了一個 http server, 會啟動一個 dashboard, 使用者能夠直接在瀏覽器上觀察 Codis 叢集的執行狀態.

codis-server 是 Codis 專案維護的一個 Redis 分支, 基於 2.8.13 開發, 增加了 slot 的支援和原子的資料遷移指令. Codis 上層的 codis-proxy 和 codis-config 僅僅能和這個版本號的 Redis 互動才幹正常執行.

ZooKeeper(下面簡稱ZK)是一個分散式協調服務框架。能夠做到各節點之間的資料強一致性。簡單的理解就是在一個節點改動某個變數的值後。在其它節點能夠最新的變化。這樣的變化是事務性的。

通過在ZK節點上註冊監聽器，就能夠獲得資料的變化。

Codis 依賴 ZooKeeper 來存放資料路由表和 codis-proxy 節點的元資訊, codis-config 發起的命令都會通過 ZooKeeper 同步到各個存活的 codis-proxy.

注：1.codis新版本號支援redis到2.8.21

2.codis-group實現redis的水平擴充套件

以下我們來部署環境：

10.80.80.124 zookeeper_1 codis-configcodis-server-master,slave codis_proxy_1

10.80.80.126 zookeeper_2 codis-server-master,slavecodis _proxy_2

10.80.80.123 zookeeper_3 codis-serve-master,slavecodis _proxy_3

說明：

1.為了確保zookeeper的穩定性與可靠性。我們在124、126、123上搭建zookeeper叢集來對外提供服務；

2.codis-cofig作為分散式redis的管理工具。在整個分散式server中僅僅須要一個就能夠完畢管理任務。

3.codis-server和codis-proxy在3臺伺服器提供redis和代理服務。

一.部署zookeeper叢集

1.配置hosts（在3臺server上）

10.80.80.124 codis1
10.80.80.126 codis2
10.80.80.123 codis3

2.配置java環境（在3臺server上）

vim /etc/profile
##JAVA###
export JAVA_HOME=/usr/local/jdk1.7.0_71
export JRE_HOME=/usr/local/jdk1.7.0_71/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

3.安裝zookeeper（在3臺server上）

cd /usr/local/src
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
tar -zxvf zookeeper-3.4.6.tar.gz -C /usr/local

4.配置環境變數（在3臺server上）

vim /etc/profile
#zookeeper
ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile

5.改動zookeeper配置檔案（在3臺server上）

#建立zookeeper的資料資料夾和日誌資料夾
mkdir -p /data/zookeeper/zk1/{data,log}
cd /usr/local/zookeeper-3.4.6/conf
cp zoo_sample.cfg zoo.cfg
vim /etc/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/zk1/data
dataLogDir=/data/zookeeper/zk1/log
clientPort=2181
server.1=codis1:2888:3888
server.2=codis2:2888:3888
server.3=codis3:2888:3888

6.在dataDir下建立myid檔案。相應節點id（在3臺伺服器上）

#在124上 
cd /data/zookeeper/zk1/data
echo 1 > myid
#在126上 
cd /data/zookeeper/zk1/data
echo 2 > myid
#在123上 
cd /data/zookeeper/zk1/data
echo 3 > myid

7.啟動zookeeper服務（在3臺server上）

/usr/local/zookeeper-3.4.6/bin/zkServer.sh start

注：在你所在的當前資料夾下會生成一個zookeeper.out的日誌檔案，裡面記錄了啟動過程中的具體資訊；因為叢集沒有所有資訊，會報“myid 2或myid 3 未啟動”的資訊，當叢集所有啟動後就會正常，我們能夠忽略。

8.檢視zookeeper全部節點的狀態（在3臺server上）

#124
/usr/local/zookeeper-3.4.6/bin/zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader
#126
/usr/local/zookeeper-3.4.6/bin/zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
#123
/usr/local/zookeeper-3.4.6/bin/zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower

二.部署codis叢集

1.安裝go語言（在3臺server上）

tar -zxvf go1.4.2.linux-amd64.tar.gz -C /usr/local/

2.加入go環境變數（在3臺server上）

vim /etc/profile
#go
export PATH=$PATH:/usr/local/go/bin
export GOPATH=/usr/local/codis

source /etc/profile

3.安裝codis（在3臺server上）

go get github.com/wandoulabs/codis
cd $GOPATH/src/github.com/wandoulabs/codis
#執行編譯測試指令碼，編譯go和reids。

./bootstrap.sh make gotest #將編譯好後，把bin資料夾和一些指令碼複製過去/usr/local/codis資料夾下 mkdir -p /usr/local/codis/{conf,redis_conf,scripts} cp -rf bin /usr/local/codis/ cp sample/config.ini /usr/local/codis/conf/ cp -rf sample/redis_conf /usr/local/codis cp -rf sample/* /usr/local/codis/scripts

4.配置codis-proxy（在3臺server上。在此以124為例）

#124
cd /usr/local/codis/conf
vim config.ini
zk=codis1:2181,codis2:2181,codis3:2181
product=codis
#此處配置圖形化介面的dashboard。注意codis叢集僅僅要一個就可以，因此所有指向10.80.80.124:18087
dashboard_addr=192.168.3.124:18087
coordinator=zookeeper
backend_ping_period=5
session_max_timeout=1800
session_max_bufsize=131072
session_max_pipeline=128
proxy_id=codis_proxy_1
#126
cd /usr/local/codis/conf
vim config.ini
zk=codis1:2181,codis2:2181,codis3:2181
product=codis
#此處配置圖形化介面的dashboard，注意codis叢集僅僅要一個就可以，因此所有指向10.80.80.124:18087
dashboard_addr=192.168.3.124:18087
coordinator=zookeeper
backend_ping_period=5
session_max_timeout=1800
session_max_bufsize=131072
session_max_pipeline=128
proxy_id=codis_proxy_2
#123
cd /usr/local/codis/conf
vim config.ini
zk=codis1:2181,codis2:2181,codis3:2181
product=codis
#此處配置圖形化介面的dashboard，注意codis叢集僅僅要一個就可以，因此所有指向10.80.80.124:18087
dashboard_addr=192.168.3.124:18087
coordinator=zookeeper
backend_ping_period=5
session_max_timeout=1800
session_max_bufsize=131072
session_max_pipeline=128
proxy_id=codis_proxy_3

5.改動codis-server的配置檔案（在3臺伺服器上）

#建立codis-server的資料資料夾和日誌資料夾
mkdir -p /data/codis/codis-server/{data,logs}
cd /usr/local/codis/redis_conf
#主庫
vim 6380.conf
daemonize yes
pidfile /var/run/redis_6380.pid
port 6379
logfile "/data/codis_server/logs/codis_6380.log"
save 900 1
save 300 10
save 60 10000
dbfilename 6380.rdb
dir /data/codis_server/data
#從庫
cp 6380.conf 6381.conf
sed -i 's/6380/6381/g' 6381.conf

6.加入核心引數

echo "vm.overcommit_memory = 1" >>  /etc/sysctl.conf
sysctl -p

7.依照啟動流程啟動

cat /usr/loca/codis/scripts/usage.md
0. start zookeeper 
1. change config items in config.ini 
2. ./start_dashboard.sh 
3. ./start_redis.sh 
4. ./add_group.sh 
5. ./initslot.sh 
6. ./start_proxy.sh 
7. ./set_proxy_online.sh 
8. open browser to http://localhost:18087/admin

儘管scripts資料夾以下有對應啟動指令碼，也能夠用startall.sh所有啟動。但剛開始建議手動啟動，以熟悉codis啟動過程。

因為之前zookeeper已經啟動，以下我們來啟動其它專案。

注：1.在啟動過程中須要指定相關日誌資料夾或配置檔案資料夾，為便於統一管理。我們都放在/data/codis下；

2.dashboard在codis叢集中僅僅須要在一臺server上啟動就可以，此處在124上啟動；凡是用codis_config的命令都是在124上操作，其它啟動項須要在3臺server上操作。

相關命令例如以下：

/usr/local/codis/bin/codis-config -h
usage: codis-config  [-c <config_file>] [-L <log_file>] [--log-level=<loglevel>]
		<command> [<args>...]
options:
   -c	set config file
   -L	set output log file, default is stdout
   --log-level=<loglevel>	set log level: info, warn, error, debug [default: info]

commands:
	server
	slot
	dashboard
	action
	proxy

(1)啟動dashboard（在124上啟動）

#dashboard的日誌資料夾和訪問資料夾
mkdir -p /data/codis/codis_dashboard/logs
codis_home=/usr/local/codis
log_path=/data/codis/codis_dashboard/logs
nohup $codis_home/bin/codis-config -c $codis_home/conf/config.ini -L $log_path/dashboard.log dashboard --addr=:18087 --http-log=$log_path/requests.log &>/dev/null &

通過10.80.80.124:18087就可以訪問圖形管理介面

(2)啟動codis-server（在3臺伺服器上）

/usr/local/codis/bin/codis-server /data/codis_server/conf/6380.conf
/usr/local/codis/bin/codis-server /data/codis_server/conf/6381.conf

(3)加入 Redis Server Group（124上）

注意：每個 Server Group 作為一個 Redis server組存在, 僅僅同意有一個 master, 能夠有多個 slave, group id 僅支援大於等於1的整數

眼下我們在3臺server上分了3組，因此我們須要加入3組。每組由一主一從構成

#相關命令	
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server
usage:
	codis-config server list
	codis-config server add <group_id> <redis_addr> <role>
	codis-config server remove <group_id> <redis_addr>
	codis-config server promote <group_id> <redis_addr>
	codis-config server add-group <group_id>
	codis-config server remove-group <group_id>
#group 1
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 1 10.80.80.124:6380 master
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 1 10.80.80.124:6381 slave
#group 2
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 2 10.80.80.126:6380 master
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 2 10.80.80.126:6381 slave
#group 3
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 3 10.80.80.123:6380 master
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 3 10.80.80.123:6381 slave

注意：1.點選“Promote to Master”就會將slave的redis提升為master，而原來的master會自己主動下線。

2./usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 能夠加入機器到對應組中。也能夠更新redis的主/從角色。

3.若為新機器，此處的keys應該為空

(4) 設定 server group 服務的 slot 範圍（124上）

#相關命令
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini slot
usage:
	codis-config slot init [-f]
	codis-config slot info <slot_id>
	codis-config slot set <slot_id> <group_id> <status>
	codis-config slot range-set <slot_from> <slot_to> <group_id> <status>
	codis-config slot migrate <slot_from> <slot_to> <group_id> [--delay=<delay_time_in_ms>]
	codis-config slot rebalance [--delay=<delay_time_in_ms>]
	
#Codis 採用 Pre-sharding 的技術來實現資料的分片, 預設分成 1024 個 slots (0-1023), 對於每個key來說, 通過下面公式確定所屬的 Slot Id : SlotId = crc32(key) % 1024 每個 slot 都會有一個特定的 server group id 來表示這個 slot 的資料由哪個 server group 來提供。

我們在此將1024個slot分為三段，分配例如以下： /usr/local/codis/bin/codis-config -c conf/config.ini slot range-set 0 340 1 online /usr/local/codis/bin/codis-config -c conf/config.ini slot range-set 341 681 2 online /usr/local/codis/bin/codis-config -c conf/config.ini slot range-set 682 1023 3 online

(5)啟動codis-proxy（在3臺伺服器上）

#codis_proxy的日誌資料夾
mkdir -p /data/codis/codis_proxy/logs
codis_home=/usr/local/codis
log_path=/data/codis/codis_proxy/logs
nohup $codis_home/bin/codis-proxy --log-level warn -c $codis_home/conf/config.ini -L $log_path/codis_proxy_1.log  --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 > $log_path/nohup.out 2>&1 &

黑線處：codis讀取server的主機名。

注意：若client相關訪問proxy，須要在client加入hosts

(6)上線codis-proxy

codis_home=/usr/local/codis
log_path=/data/codis/codis_proxy/logs
nohup $codis_home/bin/codis-proxy --log-level warn -c $codis_home/conf/config.ini -L $log_path/codis_proxy_1.log  --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 > $log_path/nohup.out 2>&1 &


注：啟動codis_proxy後。proxy此時處於offline狀態。無法對外提供服務，必須將其上線後才幹對外提供服務。

ok，至此codis已經能夠對外提供服務了。

三.HA

codis的ha分為前端proxy的ha以及後端codis-server的ha，在此簡單說下proxy的ha。

對於上層proxy來說，尤其是javaclient來，codis提供jodis(改動過的jedis)來實現proxy的ha。

它會通過監控zk上的註冊資訊來實時獲得當前可用的proxy列表，既能夠保證高可用性。也能夠通過輪流請求全部的proxy實現負載均衡；支援proxy的自己主動上線和下線。

http://www.cnblogs.com/yxwkf/p/5199019.html

相關推薦

redis的分散式解決方式--codis （轉）

codis是豌豆莢開源的分散式server。眼下處於穩定階段。 原文地址：https://github.com/wandoulabs/codis/blob/master/doc/tutorial_zh.md Codis 是一個分散式 Redis 解決方式, 對於上層的

Python selenium —— 一定要會用selenium的等待，三種等待方式解讀（轉）

我們 嚴重 -s ber 約定 fire locate ror nbsp 發現太多人不會用等待了，博主今天實在是忍不住要給大家講講等待的必要性。 很多人在群裏問，這個下拉框定位不到、那個彈出框定位不到…各種定位不到，其實大多數情況下就是兩種問題：1 有frame，2 沒有加

vue.js 三種方式安裝（轉）

的版本號，則說明你安裝成功了。                             npm包管理器，是整合在node中的，所以安裝了node也就有了npm,直接輸入 npm -v 命令，顯示npm的版本資訊。                       

通過VMware搭建分散式叢集基礎環境（轉）

一、前言 　　在日常學習、工作當中，我們經常需要用到分散式叢集環境，如zookeeper叢集、redis叢集、大資料叢集等，而通常並沒有那麼多的物理機器可以使用，因此，通過虛擬機器搭建一套分散式叢集環境以供開發和測試，是一個不錯的選擇。本文講述的，就是如何通過

C# Winform應用程式佔用記憶體較大解決方法整理（轉）

原文：http://www.jb51.net/article/56682.htm 背景： 微軟的 .NET FRAMEWORK 現在可謂如火如荼了。但是，.NET 一直所為人詬病的就是“胃口太大”，狂吃記憶體，雖然微軟聲稱 GC 的功能和智慧化都很高，但是記憶體的回收

MyEclipse不能自動編譯解決方法總結（轉）/debug時斷點亂跳問題的解決辦法

MyEclipse不能自動編譯解決方法總結（轉） 前言：工具在給人帶來方便的同時，相伴而來的也有不可預知的問題。     在使用整合開發工具進行專案開發時，我們不僅要了解自己寫的程式碼，還需要了解 我們使用的整合開發工具。並且，越是整合度高的IDE，複雜度就越高，我們定位問

（轉）Spring事務處理時自我調用的解決方案及一些實現方式的風險

上下 喜歡 wire print type service() str bug 銷毀 轉：http://www.iteye.com/topic/1122740 預備知識 測試代碼準備 問題 解決方案 1通過ThreadLocal暴露Aop代理對象 2通過初始化方法在目標對

高效運維最佳實踐（03）：Redis叢集技術及Codis實踐 (轉)

專欄介紹 “高效運維最佳實踐”是InfoQ在2015年推出的精品專欄，由觸控科技運維總監蕭田國撰寫，InfoQ總編輯崔康策劃。 前言 誠如開篇文章所言，高效運維包括管理的專業化和技術的專業化。前兩篇我們主要在說些管理相關的內容，本篇說一下技術專業化。希望讀者朋友們能適應這個轉

Redis(二十一)：Redis效能問題排查解決手冊（轉）

效能相關的資料指標 通過Redis-cli命令列介面訪問到Redis伺服器，然後使用info命令獲取所有與Redis服務相關的資訊。通過這些資訊來分析文章後面提到的一些效能指標。 info命令輸出的資料可分為10個類別，分別是： server clients memory persis

Redis(二十一)：Redis性能問題排查解決手冊（轉）

毫秒 直接 不包含 特定 命令 不用 超出 pip 過去 性能相關的數據指標 通過Redis-cli命令行界面訪問到Redis服務器，然後使用info命令獲取所有與Redis服務相關的信息。通過這些信息來分析文章後面提到的一些性能指標。 info命令輸出的數據可分為10個類

訊息中介軟體（一）分散式系統事務一致性解決方案大對比，誰最好使？（轉）

原文轉載至：https://blog.csdn.net/lovesomnus/article/details/51785108   在分散式系統中，同時滿足“一致性”、“可用性”和“分割槽容錯性”三者是不可能的。分散式系統的事務一致性是一個技術難題，各種解決方案孰優孰劣？ 在OLTP系統領域，

Eclipse版本android 65535解決方案(原理等同android studio現在的分包方式)（轉）

由於工作的需要看了下Eclipse下android65535的解決方案，查了好多文件，真心的發自內心的說一句請不要再拷貝別人的部落格了，害人，真害人。 　　接下來我說下我的實現方式，首先說下65535的最可能的觸發原因(三方jar用的太多了) 　　首先：利用ant 軟體合併jar包：

Redis 單例、主從模式、sentinel 以及集群的配置方式及優缺點對比（轉）

after redis使用 問題： known 不能 重新 aof left meet 摘要: redis作為一種NoSql數據庫，其提供了一種高效的緩存方案，本文則主要對其單例，主從模式，sentinel以及集群的配置方式進行說明，對比其優缺點，闡述redis作為一種

C#進階系列——WebApi 異常處理解決方案（轉）

機制 輸出 ges 如果 但是 rom lba slist 解決 出處：http://www.cnblogs.com/landeanfen/p/5363846.html 閱讀目錄 一、使用異常篩選器捕獲所有異常 二、HttpResponseException自

解決input框黃色背景問題（轉）

背景 一個 set form cnblogs pre 問題 解決 class input:-webkit-autofill { box-shadow: 0 0 0px 1000px white inset !important;} <form action="l

【Visual Studio】解決錯誤 fatal error C1010: unexpected end of file while looking for precompiled head（轉）

set while err sin 結束 art fat 出現 using 原文轉自 http://blog.csdn.net/liuqiyao_01/article/details/38867145 在編譯VS時候，出現fatal error C1010: unexp

MySQL表類型MyISAM/InnoDB的區別（解決事務不回滾的問題）（轉）

span into article one 工具 tab select var pan MyISAM：這個是默認類型，它是基於傳統的ISAM類型，ISAM是Indexed Sequential Access Method （有索引的順序訪問方法) 的縮寫，它是存儲記錄和文件

Windows 部署 Redis 群集（轉）

成功 oci exec tao server 發送 .exe lan dir 1，下載Redis for windows 的最新版本，解壓到 c:\Redis 目錄下備用https://github.com/MSOpenTech/redis/releases當前我使用的是

文件或目錄損壞且無法讀取的解決辦法大集合（轉）

情況 如果 設備 磁盤分區 回車 修復 運行 自動修復 使用 開始--> 運行--> cmd，輸入 CHKDSK H: /F（註意，H是你要檢查修復的盤符回車，冒號後面要空一格，別跟著就寫"/F"。如果直接輸入CHKDSK，就檢查當前磁盤的使用情況。）。之後系統

HTTP 錯誤 500.21 - Internal Server Error 解決方案（轉）

san 原因 cal 方案 發生 err 檢查 net tle 不久前重新安裝了Windows7，在安裝了VS2010 開發平臺之後，將網站發布到IIS，訪問發生如下錯誤： HTTP 錯誤 500.21 - Internal Server Error處理程序“NickLee