2. 程式人生 > >docker簡易搭建Zookeeper叢集

docker簡易搭建Zookeeper叢集

阿新 • • 發佈：2018-11-11

docker簡易搭建Zookeeper叢集

寫在前面：為什麼要用zookeeper?主要是在分散式架構中，很多時候 需要考慮到資料的一致性問題，資料管理問題，以及事務的執行順序等各種各樣的問題，這時候就有一個zookeeper分散式伺服器框架來幫我們解決這些問題。

docker zookeeper官網：https://hub.docker.com/_/zookeeper/

第一步 建立docker網段

在centos視窗中，執行如下命令：

docker network create --subnet=172.20.0.0/16 net7

*注：172.20.0.0 網段（讀者可以自定義自己所需的網段）
16 子網掩碼
net7 網段名稱 （讀者可以自定義自己所需的網段名稱）
說明：在此步建立網段，是為了合理規範便於治理，讀者可自行選擇是否建立*

第二步 建立Zookeeper叢集

建立本地儲存資料以及事務日誌檔案對映目錄，在本文中將建立3個節點，故會建立對應3個節點的路徑,在centos視窗中，執行如下命令建立所需目錄：

cd /home/soft/
mkdir zookeepercluster
cd  zookeepercluster
mkdir zookeeper1DataDir
mkdir zookeeper1DataLogDir
mkdir zookeeper2DataDir
mkdir zookeeper2DataLogDir
mkdir zookeeper3DataDir
mkdir zookeeper3DataLogDir

注：本文zookeeper叢集存放的資料結構為/home/soft/zookeepercluster下 ，讀者可自行選擇

建立完成後，接下來在centos視窗中，執行如下命令，拉取zookeeper映象：

docker pull zookeeper

拉取完映象後，建立zookeeper叢集，在centos視窗中，執行如下命令：

docker run -d -v /home/soft/zookeepercluster/zookeeper1DataDir:/data -v /home/soft/zookeepercluster/zookeeper1DataLogDir:/datalog  -e ZOO_MY_ID=1
 
 -e ZOO_SERVERS='server.1=172.20.0.2:2888:3888 server.2=172.20.0.3:2888:3888 server.3=172.20.0.4:2888:3888' --name=zookeeper1 --net=net7 --ip 172.20.0.2 --privileged zookeeper

docker run -d -v /home/soft/zookeepercluster/zookeeper2DataDir:/data -v /home/soft/zookeepercluster/zookeeper2DataLogDir:/datalog -e ZOO_MY_ID=2 -e ZOO_SERVERS='server.1=172.20.0.2:2888:3888 server.2=172.20.0.3:2888:3888 server.3=172.20.0.4:2888:3888' --name=zookeeper2 --net=net7 --ip 172.20.0.3 --privileged zookeeper

docker run -d -v /home/soft/zookeepercluster/zookeeper3DataDir:/data -v /home/soft/zookeepercluster/zookeeper3DataLogDir:/datalog  -e ZOO_MY_ID=3 -e ZOO_SERVERS='server.1=172.20.0.2:2888:3888 server.2=172.20.0.3:2888:3888 server.3=172.20.0.4:2888:3888' --name=zookeeper3 --net=net7 --ip 172.20.0.4 --privileged zookeeper

*注：‘ZOO_MY_ID=1’ 與 ‘server.1=172.20.0.2’ 的server.1對應，讀者可自定義myid的編號
2888 叢集內機器通訊使用（Leader監聽此埠）
3888 選舉leader使用
說明：建立叢集的時候請選擇奇數個節點，以便節點選舉leader*

第三步 驗證是否成功搭建zookeeper叢集

在centos視窗中，執行如下命令，進入容器中：

docker exec -it zookeeper1 bash

在容器中，執行如下命令可進行檢視叢集資訊：

echo stat |nc 172.20.0.2 2181

其他兩個容器，就不一一贅述。
下方是本人建立zookeeper叢集全部的執行命令以及對應資訊：

[[email protected] ~]# docker exec -it zookeeper1 bash
bash-4.4# echo stat | nc 172.20.0.2 2181
Zookeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 04:05 GMT
Clients:
 /172.20.0.2:42792[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0
Received: 2
Sent: 1
Connections: 1
Outstanding: 0
Zxid: 0x0
Mode: follower
Node count: 4
bash-4.4# exit
exit
[[email protected] ~]# docker exec -it zookeeper2 bash
bash-4.4# echo stat | nc 172.20.0.3 2181
Zookeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 04:05 GMT
Clients:
 /172.20.0.3:40206[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0
Received: 2
Sent: 1
Connections: 1
Outstanding: 0
Zxid: 0x100000000
Mode: leader
Node count: 4
Proposal sizes last/min/max: -1/-1/-1
bash-4.4# exit
exit
[[email protected] ~]# docker exec -it zookeeper3 bash
bash-4.4# echo stat | nc 172.20.0.4 2181
Zookeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 04:05 GMT
Clients:
 /172.20.0.4:43465[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0
Received: 1
Sent: 0
Connections: 1
Outstanding: 0
Zxid: 0x100000000
Mode: follower
Node count: 4
bash-4.4#

在上方具體的資訊可以看到是1個leader 2個follower。

寫在最後，讀者也可以參考dockerfile檔案中的環境設定，通過（docker -v 引數）將本地伺服器shitzookeeper配置對映到對應容器的zookeeper對應檔案目錄（/conf），詳情請見附錄

附錄：
1.配置引數列表：

    ZOO_USER=zookeeper  #使用者名稱
    ZOO_CONF_DIR=/conf  #配置檔案路徑 
    ZOO_DATA_DIR=/data  #資料檔案路徑
    ZOO_DATA_LOG_DIR=/datalog #事務日誌檔案路徑  
    ZOO_PORT=2181             #客戶端連線zookeeper埠
    ZOO_TICK_TIME=2000        #zookeeper獨立工作時間單元 單位毫秒
    ZOO_INIT_LIMIT=5          #初始化連線時間 當初始化時間>2000*5（10秒）表示客戶端連線失敗
    ZOO_SYNC_LIMIT=2          #心跳時間 當間隔時間響應>2000*2(4秒) 表示節點失敗
    ZOO_AUTOPURGE_PURGEINTERVAL=0  #清理頻率，單位是小時，需要配置一個1或更大的整數，預設是0，表示不開啟自動清理功能
    ZOO_AUTOPURGE_SNAPRETAINCOUNT=3 #這個引數和上面的引數搭配使用，這個引數指定了需要保留的檔案數目。預設是保留3個
    ZOO_MAX_CLIENT_CNXNS=60 #單個客戶端與單臺伺服器之間的連線數的限制，是ip級別的，預設是60，如果設定為0，那麼表明不作任何限制

2.four letter word(常用四字命令)
1.echo stat | nc localhost 2181 檢視當前zookeeper狀態資訊

bash-4.4# echo stat | nc localhost 2181
Zookeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 04:05 GMT
Clients:
 /127.0.0.1:44935[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/552
Received: 1857
Sent: 1856
Connections: 1
Outstanding: 0
Zxid: 0x300000006
Mode: follower
Node count: 6

2.echo ruok | nc localhost 2181 檢視當前zkserver是否啟動，啟動成功返回 imok

bash-4.4# echo ruok | nc localhost 2181
imok

3 echo dump | nc localhost 2181 列出未經處理的會話和臨時節點

bash-4.4# echo dump | nc localhost 2181
SessionTracker dump:
[email protected]499d64c5
ephemeral nodes dump:
Sessions with Ephemerals (0):

4 echo conf | nc localhost 2181 檢視伺服器配置

bash-4.4# echo conf | nc localhost 2181
clientPort=2181
dataDir=/data/version-2
dataLogDir=/datalog/version-2
tickTime=2000
maxClientCnxns=60
minSessionTimeout=4000
maxSessionTimeout=40000
serverId=1
initLimit=5
syncLimit=2
electionAlg=3
electionPort=3888
quorumPort=2888
peerType=0

5 echo cons | nc localhost 2181 展示連線到伺服器的客戶端資訊

bash-4.4# echo cons | nc localhost 2181
 /127.0.0.1:55150[1](queued=0,recved=29,sent=29,sid=0x100046ccbd70000,lop=PING,est=1534428159463,to=30000,lcxid=0x1,lzxid=0xffffffffffffffff,lresp=93577238,llat=1,minlat=0,avglat=0,maxlat=13)
 /127.0.0.1:32959[0](queued=0,recved=1,sent=0)

6echo envi | nc localhost 2181 檢視當前zookeeper環境變數

bash-4.4# echo envi | nc localhost 2181
Environment:
zookeeper.version=3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 04:05 GMT
host.name=e76b00d78b5e
java.version=1.8.0_171
java.vendor=Oracle Corporation
java.home=/usr/lib/jvm/java-1.8-openjdk/jre
java.class.path=/zookeeper-3.4.13/bin/../build/classes:/zookeeper-3.4.13/bin/../build/lib/*.jar:/zookeeper-3.4.13/bin/../lib/slf4j-log4j12-1.7.25.jar:/zookeeper-3.4.13/bin/../lib/slf4j-api-1.7.25.jar:/zookeeper-3.4.13/bin/../lib/netty-3.10.6.Final.jar:/zookeeper-3.4.13/bin/../lib/log4j-1.2.17.jar:/zookeeper-3.4.13/bin/../lib/jline-0.9.94.jar:/zookeeper-3.4.13/bin/../lib/audience-annotations-0.5.0.jar:/zookeeper-3.4.13/bin/../zookeeper-3.4.13.jar:/zookeeper-3.4.13/bin/../src/java/lib/*.jar:/conf:
java.library.path=/usr/lib/jvm/java-1.8-openjdk/jre/lib/amd64/server:/usr/lib/jvm/java-1.8-openjdk/jre/lib/amd64:/usr/lib/jvm/java-1.8-openjdk/jre/../lib/amd64:/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
java.io.tmpdir=/tmp
java.compiler=<NA>
os.name=Linux
os.arch=amd64
os.version=3.10.0-862.3.3.el7.x86_64
user.name=zookeeper
user.home=/home/zookeeper
user.dir=/zookeeper-3.4.13

7 echo mntr | nc localhost 2181 監控zk健康資訊

bash-4.4# echo mntr | nc localhost 2181
zk_version  3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 04:05 GMT
zk_avg_latency  0
zk_max_latency  552
zk_min_latency  0
zk_packets_received 1911
zk_packets_sent 1910
zk_num_alive_connections    2
zk_outstanding_requests 0
zk_server_state follower
zk_znode_count  6
zk_watch_count  0
zk_ephemerals_count 0
zk_approximate_data_size    63
zk_open_file_descriptor_count   32
zk_max_file_descriptor_count    65536
zk_fsync_threshold_exceed_count 0

8 echo wchs | nc localhost 2181 展示watch的資訊

bash-4.4# echo wchs | nc localhost 2181
0 connections watching 0 paths
Total watches:0

9 wchc wchp session與watch以及path與watch資訊
使用wchc wchp命令，需要在zookeeper的配置檔案加入41w.commadns.whitelist=* .完成白名單的配置，並重啟zookeeper服務。

相關推薦

docker簡易搭建Zookeeper叢集

docker簡易搭建Zookeeper叢集 寫在前面：為什麼要用zookeeper?主要是在分散式架構中，很多時候 需要考慮到資料的一致性問題，資料管理問題，以及事務的執行順序等各種各樣的問題，這時候就有一個zookeeper分散式伺服器框架來幫我們解決這些問題。 docker

docker簡易搭建RabbitMQ叢集

寫在前面：rabbitmq叢集與其他叢集有些不同，rabbitmq叢集同步的指是複製佇列，元資料資訊的同步，即同步的是資料儲存資訊；訊息的存放只會儲存在建立該訊息佇列的那個節點上。並非在節點上都儲存一個完整的資料。在通過非資料所在節點獲取資料時，通過元資料資訊，路由轉發到儲存資料節點上，從而

docker簡易搭建ElasticSearch叢集

寫在前面：為什麼要用ElasticSearch？我們的應用經常需要新增檢索功能，開源的Elastic Search是目前全文檢索引擎的首選。它可以快速的儲存、搜尋和分析海量資料。ElasticSearch是一個分散式搜尋框架，提供RestfulAPI，底層基於Lucene，採用多shard（

docker簡易搭建MySQL叢集的負載均衡

docker簡易搭建MySQL叢集的負載均衡 寫在前面：為什麼要搭建MySQL叢集的負載均衡呢？在擁有叢集的情況，如果始終都是對叢集中的某個節點伺服器進行資料庫請求，仍然是會造成負載高，效能差。故使用harpoxy中介軟體進行負載均衡。 注：在閱讀此文之前，最好請先閱讀《docke

1分鐘，通過docker-compose 搭建zookeeper 叢集

一、建立三節點 zookeeper 叢集 將 docker-compose.yml 儲存到當前命令列目錄下 docker-compose.yml 檔案 version: '2' networks: zk: services: zookeeper1: image: zook

Docker中搭建zookeeper叢集

1.獲取官方映象 從dockerhub獲取官方的zookeeper映象： docker pull zookeeper 2.瞭解映象內容 拉取完映象後，通過 docker inspect zookeeper 我們可以檢視到關於該映象的一些基本資訊： ...... "Env": [ "PATH=/usr/

使用docker-compose快速搭建zookeeper叢集

映象下載 docker pull zookeeper zookeeper 叢集的搭建 建立名為docker-compose.yml的檔案 輸入以下內容 version: '2' services: zk1: image: zookeeper restart: alw

docker簡易搭建Redis快取記憶體叢集

docker簡易搭建Redis快取記憶體叢集 寫在前面:為什麼要用Redis？快取記憶體利用記憶體儲存資料，讀寫速度遠超硬碟。快取記憶體可以減少I/O操作，降低I/O壓力。最大10萬次/秒讀寫。例如搶紅包案例：請求熱資料 可以存在快取記憶體，請求普通訊息存在MySQL。 *注：由於R

使用Docker快速搭建Zookeeper和kafka叢集

使用Docker快速搭建Zookeeper和kafka叢集 映象選擇 Zookeeper和Kafka叢集分別執行在不同的容器中zookeeper官方映象，版本3.4kafka採用wurstmeister/kafka映象 叢集規劃 hostname Ip addr

使用 Docker搭建 ZooKeeper 叢集

備註，此文來源： https://segmentfault.com/a/1190000006907443 防止以後找不到，故記錄一下： 映象下載 hub.docker.com 上有不少 ZK 映象, 不過為了穩定起見, 我們就使用官方的 ZK 映象吧. 首先執行如下

docker搭建zookeeper叢集

1、首先 去下載linux下的壓縮包 http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/ 2、然後 上傳zookeeper-3.4.10.tar.gz到容器伺服器環境，需要先安裝好jdk，我用的是jdk7

序【2】zookeeper節點搭建（單節點模式 || docker搭建zookeeper叢集 [bridge模式|host模式] ）

分散式理論知識 CAP原理 C(Consistency)：一致性，這裡指的是有效時間內資料的強一致性。 A(Availability):可用性，要求即便系統故障，也能在有效的時間內返回結果(成功或失敗) P(Partition tolera

docker中搭建Hadoop叢集

前提：jdk和ssh服務都已經安裝完成，如未完成，請參考博主所寫部落格 1、建立映象容器 -P將容器的所有埠對映到主機埠 docker run -itd -v /c/Users:/root/build -P -h master --name master --net mynetwork --

docker簡易搭建kafka

docker簡易搭建kafka 寫在前面：在我們大量使用分散式資料庫、分散式計算叢集的時候，是否會遇到這樣的一些問題：想分析一下使用者行為，一遍我能設計出更好的廣告位，相對使用者的搜尋關鍵字盡心統計，分析出前衛的流行趨勢，有些資料存資料庫浪費，直接存硬碟操作效率又低。kafka在這

搭建Zookeeper叢集 Linux環境中

1.下載Zookeeper(建議下載到目錄 /usr/local/) wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz Zookeeper

day74_淘淘商城專案_07_solrcloud搭建 + zookeeper叢集搭建 + 搜尋功能切換到叢集版 + httpclient學習 + 全域性異常處理器 + 附錄_匠心筆記

課程計劃 1、solr叢集的搭建 2、使用solrJ管理solr叢集 3、把搜尋功能切換到solr叢集版 4、httpclient 5、全域性異常處理 1、什麼是SolrCloud   SolrCloud(solr 雲)是Solr提供的分散式搜尋

使用多臺ECS搭建zookeeper叢集時啟動叢集每一臺都有QuorumPeerMain程序但是無法選舉的問題

        我在使用3臺ECS搭建zookeeper叢集的時候成功啟動了QuorumPeerMain程序但是伺服器之間無法連線報connection refused錯誤，嘗試更改伺服器的安全組策略失敗。      &

搭建Zookeeper叢集模式

是在搭建HA_hadoop(高可用)叢集的基礎上進行的。 1、下載zookeeper3.4.6   ------點選超連結 2、上傳到叢集 3、然後解壓 $ tar -zxvf zookeeper-3.4.6.tar.gz 4、建立軟連線 $&

Linux Centos搭建Zookeeper叢集

前言 由於本次搭建只有一臺伺服器，真實的叢集是需要部署在不同的伺服器上的，所以這次搭建偽叢集，把所有的服務都搭建到一臺伺服器上，用埠進行區分。 本次搭建一個三個節點的Zookeeper叢集。 準備工作 1、安裝JDK【此步驟省略】。 2、下載Zookeeper壓縮包檔案，上傳

一臺linux虛擬機器模擬搭建zookeeper叢集及可能遇到的問題解決

一、zookeeper叢集搭建 1:上傳zookeeper-3.4.13.tar.gz到/myfile/tool（自己定義的存放工具的目錄）目錄下： 2：解壓zookeeper，執行如下命令： [[email protected] tool]# tar