zookeeper【2】集群管理
Zookeeper 的核心是廣播，這個機制保證了各個Server之間的同步。實現這個機制的協議叫做Zab協議。
Zab協議有兩種模式，它們分別是恢復模式（選主）和廣播 模式（同步）。當服務啟動或者在領導者崩潰後，Zab就進入了恢復模式，當領導者被選舉出來，且大多數Server完成了和leader的狀態同步以後， 恢復模式就結束了。
狀態同步保證了leader和Server具有相同的系統狀態。為了保證事務的順序一致性，zookeeper采用了遞增的事務id號 （zxid）來標識事務。
所有的提議（proposal）都在被提出的時候加上了zxid。實現中zxid是一個64位的數字，它高32位是epoch用 來標識leader關系是否改變，每次一個leader被選出來，它都會有一個新的epoch，標識當前屬於那個leader的統治時期。低32位用於遞 增計數。
每個Server在工作過程中有三種狀態：
LOOKING：當前Server不知道leader是誰，正在搜尋。
LEADING：當前Server即為選舉出來的leader。
FOLLOWING：leader已經選舉出來，當前Server與之同步。
ZooKeeper的安裝模式分為三種，分別為：單機模式、集群模式和集群偽分布模式
環境
CentOS7.0 (windows中使用就使用zkServer.cmd)
ZooKeeper最新版本
用root用戶安裝（如果用於hbase時將所有文件權限改為hadoop用戶）
Java環境，最好是最新版本的。
分布式時多機間要確保能正常通訊，關閉防火墻或讓涉及到的端口通過。
下載
去官網下載 ：http://zookeeper.apache.org/releases.html#download
下載後放進CentOS中的/usr/local/ 文件夾中，並解壓到當前文件中 /usr/local/zookeeper（怎麽解壓可參考之前的Haproxy的安裝文章）
安裝
單機模式
進入zookeeper目錄下的conf子目錄, 重命名 zoo_sample.cfg文件，Zookeeper 在啟動時會找這個文件作為默認配置文件:
mv /usr/local/zookeeper/conf/zoo_sample.cfg zoo.cfg
配置zoo.cfg參數
# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. dataDir=/usr/local/zookeeper/data dataLogDir=/usr/local/zookeeper/log # the port at which the clients will connect clientPort=2181 # # Be sure to read the maintenance section of the # administrator guide before turning on autopurge. # #http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature #autopurge.purgeInterval=1
參數說明:
tickTime：毫秒值.這個時間是作為 Zookeeper 服務器之間或客戶端與服務器之間維持心跳的時間間隔，也就是每個 tickTime 時間就會發送一個心跳。
dataDir：顧名思義就是 Zookeeper 保存數據的目錄，默認情況下，Zookeeper 將寫數據的日誌文件也保存在這個目錄裏。
dataLogDir：顧名思義就是 Zookeeper 保存日誌文件的目錄
clientPort：這個端口就是客戶端連接 Zookeeper 服務器的端口，Zookeeper 會監聽這個端口，接受客戶端的訪問請求。
再創建上面配置的data和log文件夾：
mkdir /usr/local/zookeeper/data mkdir /usr/local/zookeeper/log
啟動zookeeper
先進入/usr/local/zookeeper文件夾
cd /usr/local/zookeeper
再運行
bin/zkServer.sh start
檢測是否成功啟動：執行
bin/zkCli.sh 或 echo stat|nc localhost 2181
偽集群模式
所謂偽集群, 是指在單臺機器中啟動多個zookeeper進程, 並組成一個集群. 以啟動3個zookeeper進程為例，模擬3臺機。
將zookeeper的目錄多拷貝2份:
zookeeper/conf/zoo.cfg文件與單機一樣，只改為下面的內容:
tickTime=2000 initLimit=5 syncLimit=2 dataDir=/usr/local/zookeeper/data dataLogDir=/usr/local/zookeeper/log clientPort=2180 server.0=127.0.0.1:2888:3888 server.1=127.0.0.1:2889:3889 server.2=127.0.0.1:2890:3890
新增了幾個參數, 其含義如下:
1 initLimit: zookeeper集群中的包含多臺server, 其中一臺為leader, 集群中其余的server為follower. initLimit參數配置初始化連接時, follower和leader之間的最長心跳時間. 此時該參數設置為5, 說明時間限制為5倍tickTime, 即5*2000=10000ms=10s.
2 syncLimit: 該參數配置leader和follower之間發送消息, 請求和應答的最大時間長度. 此時該參數設置為2, 說明時間限制為2倍tickTime, 即4000ms.
3 server.X=A:B:C 其中X是一個數字, 表示這是第幾號server. A是該server所在的IP地址. B配置該server和集群中的leader交換消息所使用的端口. C配置選舉leader時所使用的端口. 由於配置的是偽集群模式, 所以各個server的B, C參數必須不同.
參照zookeeper/conf/zoo.cfg, 配置zookeeper1/conf/zoo.cfg, 和zookeeper2/conf/zoo.cfg文件. 只需更改dataDir, dataLogDir, clientPort參數即可.在之前設置的dataDir中新建myid文件, 寫入一個數字, 該數字表示這是第幾號server. 該數字必須和zoo.cfg文件中的server.X中的X一一對應.
/usr/local/zookeeper/data/myid文件中寫入0, /usr/local/zookeeper1/data/myid文件中寫入1, /Users/apple/zookeeper2/data/myid文件中寫入2.
分別進入/usr/local/zookeeper/bin, /usr/local/zookeeper1/bin, /usr/local/zookeeper2/bin三個目錄, 啟動server。啟動方法與單機一致。
bin/zkServer.sh start
分別檢測是否成功啟動：執行
bin/zkCli.sh 或 echo stat|nc localhost 2181
集群模式
集群模式的配置和偽集群基本一致.
由於集群模式下, 各server部署在不同的機器上, 因此各server的conf/zoo.cfg文件可以完全一樣.
下面是一個示例:
tickTime=2000 initLimit=5 syncLimit=2 dataDir=/usr/local/zookeeper/data dataLogDir=/usr/local/zookeeper/log clientPort=2180 server.0=192.168.80.30:2888:3888 server.1=192.168.80.31:2888:3888 server.2=192.168.80.32:2888:3888
示例中部署了3臺zookeeper server, 分別部署在192.168.80.30, 192.168.80.31, 192.168.80.32上.
需要註意的是, 各server的dataDir目錄下的myid文件中的數字必須不同，192.168.80.30 server的myid為0, 192.168.80.31 server的myid為1, 192.168.80.32 server的myid為2
分別進入/usr/local/zookeeper/bin目錄, 啟動server。啟動方法與單機一致。
bin/zkServer.sh start
分別檢測是否成功啟動：執行
bin/zkCli.sh 或 echo stat|nc localhost 2181
這時會報大量錯誤？其實沒什麽關系，因為現在集群只起了1臺server，zookeeper服務器端起來會根據zoo.cfg的服務器列表發起選舉leader的請求，因為連不上其他機器而報錯，那麽當我們起第二個zookeeper實例後，leader將會被選出，從而一致性服務開始可以使用，這是因為3臺機器只要有2臺可用就可以選出leader並且對外提供服務(2n+1臺機器，可以容n臺機器掛掉)。
ZooKeeper服務命令
1. 啟動ZK服務: zkServer.sh start 2. 查看ZK服務狀態: zkServer.sh status 3. 停止ZK服務: zkServer.sh stop 4. 重啟ZK服務: zkServer.sh restart
zk客戶端命令：
ZooKeeper 命令行工具類似於Linux的shell環境，使用它可以對ZooKeeper進行訪問，數據創建，數據修改等操作.
使用 zkCli.sh -server 192.168.80.31:2181 連接到 ZooKeeper 服務，連接成功後，系統會輸出 ZooKeeper 的相關環境以及配置信息。命令行工具的一些簡單操作如下：
1. 顯示根目錄下、文件： ls / 使用 ls 命令來查看當前 ZooKeeper 中所包含的內容 2. 顯示根目錄下、文件： ls2 / 查看當前節點數據並能看到更新次數等數據 3. 創建文件，並設置初始內容： create /zk "test" 創建一個新的 znode節點“ zk ”以及與它關聯的字符串 4. 獲取文件內容： get /zk 確認 znode 是否包含我們所創建的字符串 5. 修改文件內容： set /zk "zkbak" 對 zk 所關聯的字符串進行設置 6. 刪除文件： delete /zk 將剛才創建的 znode 刪除 7. 退出客戶端： quit 8. 幫助命令： help
zookeeper【2】集群管理