2. 程式人生 > >Zookeeper偽分佈叢集搭建及簡單使用演示

Zookeeper偽分佈叢集搭建及簡單使用演示

阿新 • • 發佈：2019-01-24

要搭建Zookeeper完全分散式叢集請戳這

第一步，下載Zookeeper穩定版

我先科普一下

很多軟體在正式釋出前都會發布一些預覽版或者測試版，一般都叫“beta版”或者 “rc版”，特別是開源軟體，甚至有“alpha版”，下面來解釋一下各個版本的意思。

alpha版：內部測試版。α是希臘字母的第一個，表示最早的版本，一般使用者不要下載這個版本，這個版本包含很多BUG，功能也不全，主要是給開發人員和 測試人員測試和找BUG用的。

beta版：公開測試版。β是希臘字母的第二個，顧名思義，這個版本比alpha版釋出得晚一些，主要是給“部落”使用者和忠實使用者測試用的，該版本任然存 在很多BUG，但是相對alpha版要穩定一些。這個階段版本的軟體還會不斷增加新功能。如果你是發燒友，可以下載這個版本。

rc版：全寫：Release Candidate（候選版本），該版本又較beta版更進一步了，該版本功能不再增加，和最終釋出版功能一樣。這個版本有點像最終發行版之前的一個類似 預覽版，這個的釋出就標明離最終發行版不遠了。作為普通使用者，如果你很急著用這個軟體的話，也可以下載這個版本。

stable版：穩定版。在開源軟體中，都有stable版，這個就是開源軟體的最終發行版，使用者可以放心大膽的用了。

商業軟體

RTM版：全稱為Release to Manufacture。工廠版。改版程式已經固定，就差工廠包裝、光碟印圖案等工作了。

OEM版：廠商定製版。

EVAL版：評估版。就是有30或者60天等使用期限的版本。

RTL版：Retail.(零售版)，這個版本就是真正發售的版本，有漂亮的包裝、光碟、說明書等東西和高昂的價格。

第二步，解壓，並修改conf/zoo.cfg檔案
[email protected]:/opt$ sudo tar -zxf zookeeper-3.4.8.tar.gz zookeeper-3.4.8/
[email protected]:/opt$ cd ./zookeeper-3.4.8/
[email protected]:/opt/zookeeper-3.4.8$ ll
總用量 1588
drwxr-xr-x 10 guo  guo     4096  2月  6 11:50 ./
drwxr-xr-x  6 root root    4096  3月 20 19:01 ../
drwxr-xr-x  2 guo  guo     4096  2月  6 11:49 bin/
-rw-rw-r--  1 guo  guo    83235  2月  6 11:46 build.xml
-rw-rw-r--  1 guo  guo    88625  2月  6 11:46 CHANGES.txt
drwxr-xr-x  2 guo  guo     4096  2月  6 11:49 conf/
drwxr-xr-x 10 guo  guo     4096  2月  6 11:46 contrib/
drwxr-xr-x  2 guo  guo     4096  2月  6 11:50 dist-maven/
drwxr-xr-x  6 guo  guo     4096  2月  6 11:49 docs/
-rw-rw-r--  1 guo  guo     1953  2月  6 11:46 ivysettings.xml
-rw-rw-r--  1 guo  guo     3498  2月  6 11:46 ivy.xml
drwxr-xr-x  4 guo  guo     4096  2月  6 11:49 lib/
-rw-rw-r--  1 guo  guo    11938  2月  6 11:46 LICENSE.txt
-rw-rw-r--  1 guo  guo      171  2月  6 11:46 NOTICE.txt
-rw-rw-r--  1 guo  guo     1770  2月  6 11:46 README_packaging.txt
-rw-rw-r--  1 guo  guo     1585  2月  6 11:46 README.txt
drwxr-xr-x  5 guo  guo     4096  2月  6 11:46 recipes/
drwxr-xr-x  8 guo  guo     4096  2月  6 11:49 src/
-rw-rw-r--  1 guo  guo  1360961  2月  6 11:46 zookeeper-3.4.8.jar
-rw-rw-r--  1 guo  guo      819  2月  6 11:50 zookeeper-3.4.8.jar.asc
-rw-rw-r--  1 guo  guo       33  2月  6 11:46 zookeeper-3.4.8.jar.md5
-rw-rw-r--  1 guo  guo       41  2月  6 11:46 zookeeper-3.4.8.jar.sha1

 
[email protected]:/opt/zookeeper-3.4.8$ cd conf/
[email protected]:/opt/zookeeper-3.4.8/conf$ ll
總用量 20
drwxr-xr-x  2 guo guo 4096  2月  6 11:49 ./
drwxr-xr-x 10 guo guo 4096  2月  6 11:50 ../
-rw-rw-r--  1 guo guo  535  2月  6 11:46 configuration.xsl
-rw-rw-r--  1 guo guo 2161  2月  6 11:46 log4j.properties
-rw-rw-r--  1 guo guo  922  2月  6 11:46 zoo_sample.cfg
[email protected]:/opt/zookeeper-3.4.8/conf$ cp zoo_sample.cfg zoo.cfg
[email protected]:/opt/zookeeper-3.4.8/conf$ gedit zoo.cfg
zoo.cfg檔案 
# The number of milliseconds of each tick
#心跳多長時間2000毫秒（2s）
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
#初始化同步階段可以容忍的最大心跳數
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
#發請求到得到響應可以容忍的最大心跳數（超過就認為請求超時）
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
#不要放在/tmp下，自己建一個
dataDir=/opt/zookeeper-3.4.8/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
如果是完全分佈，要在檔案最後加xx，看這裡：完全分佈

第三步，配置環境變數（加上之後別忘了source）

[email protected]:~$ sudo gedit /etc/profile
[sudo] guo 的密碼： 

(gedit:7298): IBUS-WARNING **: The owner of /home/guo/.config/ibus/bus is not root!

(gedit:7298): Gtk-WARNING **: Calling Inhibit failed: GDBus.Error:org.freedesktop.DBus.Error.ServiceUnknown: The name org.gnome.SessionManager was not provided by any .service files
[email protected]:~$ source /etc/profile
profile檔案
# /etc/profile: system-wide .profile file for the Bourne shell (sh(1))
# and Bourne compatible shells (bash(1), ksh(1), ash(1), ...).

if [ "$PS1" ]; then
  if [ "$BASH" ] && [ "$BASH" != "/bin/sh" ]; then
    # The file bash.bashrc already sets the default PS1.
    # PS1='\h:\w\$ '
    if [ -f /etc/bash.bashrc ]; then
      . /etc/bash.bashrc
    fi
  else
    if [ "`id -u`" -eq 0 ]; then
      PS1='# '
    else
      PS1='$ '
    fi
  fi
fi

# The default umask is now handled by pam_umask.
# See pam_umask(8) and /etc/login.defs.

if [ -d /etc/profile.d ]; then
  for i in /etc/profile.d/*.sh; do
    if [ -r $i ]; then
      . $i
    fi
  done
  unset i
fi
#java
export JAVA_HOME=/opt/Java/jdk1.8.0_73
export JRE_HOME=/opt/Java/jdk1.8.0_73/jre
export CLASSPATH=$JAVA_HOME/lib
export PATH=:$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
#hadoop
export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/bin
#zookeeper
export ZOOKEEPER_HOME=/opt/zookeeper-3.4.8
export PATH=$PATH:$ZOOKEEPER_HOME/bin
第四步，啟動！開始玩吧 
[email protected]:~$ zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.8/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[email protected]:~$ jps
3648 SecondaryNameNode
2130 org.eclipse.equinox.launcher_1.3.100.v20150511-1540.jar
7429 Jps
3273 NameNode
4058 NodeManager
7403 QuorumPeerMain
3819 ResourceManager
3438 DataNode
[email protected]:~$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.8/bin/../conf/zoo.cfg
Mode: standalone
[email protected]:~$ zkCli.sh -server 127.0.0.1:2181
Connecting to 127.0.0.1:2181
2016-03-20 19:31:12,033 [myid:] - INFO  [main:[email protected]] - Client environment:zookeeper.version=3.4.8--1, built on 02/06/2016 03:18 GMT
2016-03-20 19:31:12,035 [myid:] - INFO  [main:[email protected]00] - Client environment:host.name=guo
2016-03-20 19:31:12,035 [myid:] - INFO  [main:[email protected]] - Client environment:java.version=1.8.0_73
2016-03-20 19:31:12,037 [myid:] - INFO  [main:[email protected]] - Client environment:java.vendor=Oracle Corporation
2016-03-20 19:31:12,037 [myid:] - INFO  [main:[email protected]] - Client environment:java.home=/opt/Java/jdk1.8.0_73/jre
2016-03-20 19:31:12,037 [myid:] - INFO  [main:[email protected]] - Client environment:java.class.path=/opt/zookeeper-3.4.8/bin/../build/classes:/opt/zookeeper-3.4.8/bin/../build/lib/*.jar:/opt/zookeeper-3.4.8/bin/../lib/slf4j-log4j12-1.6.1.jar:/opt/zookeeper-3.4.8/bin/../lib/slf4j-api-1.6.1.jar:/opt/zookeeper-3.4.8/bin/../lib/netty-3.7.0.Final.jar:/opt/zookeeper-3.4.8/bin/../lib/log4j-1.2.16.jar:/opt/zookeeper-3.4.8/bin/../lib/jline-0.9.94.jar:/opt/zookeeper-3.4.8/bin/../zookeeper-3.4.8.jar:/opt/zookeeper-3.4.8/bin/../src/java/lib/*.jar:/opt/zookeeper-3.4.8/bin/../conf:/opt/Java/jdk1.8.0_73/lib
2016-03-20 19:31:12,037 [myid:] - INFO  [main:[email protected]] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2016-03-20 19:31:12,037 [myid:] - INFO  [main:[email protected]] - Client environment:java.io.tmpdir=/tmp
2016-03-20 19:31:12,037 [myid:] - INFO  [main:[email protected]] - Client environment:java.compiler=<NA>
2016-03-20 19:31:12,037 [myid:] - INFO  [main:[email protected]] - Client environment:os.name=Linux
2016-03-20 19:31:12,037 [myid:] - INFO  [main:[email protected]] - Client environment:os.arch=amd64
2016-03-20 19:31:12,037 [myid:] - INFO  [main:[email protected]] - Client environment:os.version=4.2.0-16-generic
2016-03-20 19:31:12,037 [myid:] - INFO  [main:[email protected]] - Client environment:user.name=guo
2016-03-20 19:31:12,037 [myid:] - INFO  [main:[email protected]] - Client environment:user.home=/home/guo
2016-03-20 19:31:12,037 [myid:] - INFO  [main:[email protected]] - Client environment:user.dir=/home/guo
2016-03-20 19:31:12,038 [myid:] - INFO  [main:[email protected]] - Initiating client connection, connectString=127.0.0.1:2181 sessionTimeout=30000 [email protected]
Welcome to ZooKeeper!
2016-03-20 19:31:12,071 [myid:] - INFO  [main-SendThread(127.0.0.1:2181):[email protected]] - Opening socket connection to server 127.0.0.1/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2016-03-20 19:31:12,111 [myid:] - INFO  [main-SendThread(127.0.0.1:2181):[email protected]] - Socket connection established to 127.0.0.1/127.0.0.1:2181, initiating session
[zk: 127.0.0.1:2181(CONNECTING) 0] 2016-03-20 19:31:12,223 [myid:] - INFO  [main-SendThread(127.0.0.1:2181):[email protected]] - Session establishment complete on server 127.0.0.1/127.0.0.1:2181, sessionid = 0x15393c6a9880000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: 127.0.0.1:2181(CONNECTED) 1] help
ZooKeeper -server host:port cmd args
	stat path [watch]
	set path data [version]
	ls path [watch]
	delquota [-n|-b] path
	ls2 path [watch]
	setAcl path acl
	setquota -n|-b val path
	history 
	redo cmdno
	printwatches on|off
	delete path [version]
	sync path
	listquota path
	rmr path
	get path [watch]
	create [-s] [-e] path data acl
	addauth scheme auth
	quit 
	getAcl path
	close 
	connect host:port
[zk: 127.0.0.1:2181(CONNECTED) 2] ls /
[zookeeper]
[zk: 127.0.0.1:2181(CONNECTED) 3] create /guo hello
Created /guo
[zk: 127.0.0.1:2181(CONNECTED) 4] get /guo         
hello
cZxid = 0x2
ctime = Sun Mar 20 19:36:01 CST 2016
mZxid = 0x2
mtime = Sun Mar 20 19:36:01 CST 2016
pZxid = 0x2
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0
[zk: 127.0.0.1:2181(CONNECTED) 5] ls /             
[guo, zookeeper]


相關推薦

Zookeeper偽分佈叢集搭建及簡單使用演示

要搭建Zookeeper完全分散式叢集請戳這 第一步，下載Zookeeper穩定版 我先科普一下 很多軟體在正式釋出前都會發布一些預覽版或者測試版，一般都叫“beta版”或者 “rc版”，特別是開源軟體，甚至有“alpha版”，下面來解釋一下各個版本的意思。 alp

單機偽分佈叢集搭建

單機偽分佈：用一個節點模擬叢集 好處：方便測試，開發，佔用資源小 搭建方法： 第一步：修改slaves檔案，將master（主機名）寫入檔案中。 第二步：修改hdfs-site.xml檔案，將檔案的副本數改成1（副本數小於等於節點數）。 <property>  

hadoop偽分散式叢集搭建及配置記錄

如果已經走到了需要搭建hadoop偽分散式的環境了，那說明你至少做好了以下三點建立好了自己的虛擬機器，ip、本機名對映、防火牆、安全子系統都已經配置好了下載jdk1.7及以上版本，並配置好了java環境下載hadoop2.7.0及以上版本，並解壓到、opt/modules（自

zookeeper偽分散式叢集搭建（centOS7）

zookeeper版本：zookeeper-3.4.10.tar.gz 下載好zookeeper之後，放到/usr/local目錄下 1.建立zookeeper目錄，並在zookeeper目錄下，建立三個資料夾，分別為server1，server2，serv

hbase：偽分佈環境搭建及常見錯誤解決方法

配置注意事項 1、 ssh 必須安裝ssh ， sshd 也必須執行，這樣Hadoop的指令碼才可以遠端操控其他的Hadoop和HBase程序。ssh之間必須都打通，不用密碼都可以登入，詳細方法可以Google一下 ("ssh passwordless login").

Spring Boot 快速搭建及簡單演示

1、 官網開速生成專案 1.1 在瀏覽器上輸入地址：http://start.spring.io/。 可以選擇一maven和gradle，我這裡用maven來構建專案 1.2 填寫maven資訊： 1.3 選擇專案使用的技術（starter pom） 這裡備選的每

Kafka叢集搭建及簡單使用（控制檯與Java客戶端）

1.下載 去官網下載即可 2.解壓 3.配置環境變數 /etc/profile 4.安裝zookeeper ZooKeeper完全分散式叢集搭建5.我先按照官方文件在單節點上用一下，先不修改配置檔案 5.1啟動zookeeper [email protec

zookeeper手把手搭建偽分佈叢集環境

zookeeper偽分佈安裝 關於為何zookeeper叢集叢集必須至少3個節點機器的原因，是因為zookeeper叢集提供服務的機制決定的。zookeeper叢集認為超多半數叢集內部機器正常，就認為叢集是正常的，可對外提供協調服務。 1、安裝jdk，在系統變數新增JAVA

搭建真正的zookeeper叢集 搭建zookeeper偽分散式叢集

  搭建zookeeper偽分散式叢集 zookeeper是Hadop Ecosystem中非常重要的元件，它的主要功能是為分散式系統提供一致性協調服務， 提供的功能包括配置維護，域名服務，分散式同步和組服務。 zookeeper的目標就是封裝好複雜易出錯的關鍵服務，將簡單易用的介面和效能高

搭建zookeeper 偽分佈時遇到的幾個問題記錄下

一、只啟動一臺zookeep 是無法檢視狀態的 必須啟動兩臺以上才可以。 二、遇到問題時，可以檢視zookeeper 的日誌  zookeeper-3.4.10/conf/zookeeper.out 一般能找到問題 三。如果沒有部署過zookeeper ，那

Storm和Zookeeper叢集搭建及在java專案中的使用

上一篇： 介紹了分散式Zookeeper叢集的搭建和Kafka叢集的搭建，接下來學習一下Storm叢集的搭建。 實驗環境 Cent OS 6.9 apache-storm-1.1.0 三臺伺服器虛擬機器：192.168.1.129、192.1

Zookeeper偽分散式叢集環境搭建過程

前言 ZooKeeper是一個分散式的，開放原始碼的分散式應用程式協調服務，目前很多架構都基於它來實現配置維護、域名服務、分散式同步、組服務等等。 ZooKeeper的基本運轉流程： 1.選舉Leader 2.同步資料 3.選舉Leader過程中演算法

搭建zookeeper偽分散式叢集

偽分散式叢集的意思就是在同一臺機子上部署多個zookeeoer，但是他們的埠不一樣。 1.安裝zookeeper 到/usr/local 2.cd /usr/local/zookeeper 3.cd conf 4.vim zoo.cfg 在最下面新增如下內容 server.1=192.168.

ZooKeeper此例簡單介紹基於docker的zookeeper安裝與叢集搭建

一 ：安裝  1.獲取zookeeper映象 docker pull zookeeper11 2.寫配置檔案zoo.cfg tickTime=2000 dataDir=/opt/zookeeper/data clientPort=2181 initLimit=5 sync

Hadoop偽分散式叢集搭建過程及避坑指南

一個偶然的機會，讓我進了hadoop這個坑。我不得不說，Google真是個非常厲害的公司。為計算機行業貢獻了很多亮瞎雙眼額技術。初入Hadoop一般都要了解HDFS，YARN，Mapreduce。現在來總結一下Hadoop分散式叢集的搭建過程。1.首先準備好相應的安裝包，同時

zookeeper叢集搭建及常用場景實現

本文完整原始碼地址 基於zookeeper的常用用法、分散式鎖、分散式佇列及leader選舉實現 https://github.com/killianxu/zookeeper_example zookeeper叢集搭建 1.linux下安裝jdk yum list java* yum install java

[dubbo實戰] dubbo+zookeeper偽集群搭建

view 中修改 back int address 註冊中心 weight rep clipboard zookeeper作為註冊中心，服務器和客戶端都要訪問，如果有大量的並發，肯定會有等待。所以可以通過zookeeper集群解決。 一、為什麽需要zookeeper呢？

vue-搭建及簡單使用

cnp 模板 reg nbsp pro 運行 沒有 工作 run 好久沒寫了那就寫點吧 vue其實很簡單的一個 運行服務 cmd 輸入 node -v npm -v webpack -v 看有沒有安裝，沒有就依次安裝 node地址 https:/

PHPUnit實踐001--環境搭建及簡單用法

基礎 入門 單元測試 phpunit windows環境下搭建PHPUnit可以直接下安裝包傻瓜安裝，博主項目使用的是php5.6 所以下載了3.7的phpunit用composer安裝phpunitcomposer require --dev phpunit/phpunit ^6.2phpu

Hive環境搭建及簡單使用

Hive前言： 上篇文章我們介紹了Hive源碼編譯的相關內容，本篇文章將主要介紹Hive環境的搭建步驟及簡單使用。 1.下載安裝包並解壓 # 下載地址http://archive.cloudera.com/cdh5/cdh/5/ 選擇hive-1.1.0-cdh5.7.0.tar.gz包，也可用我們上篇文