1. 程式人生 > >Zookeeper-3.4.10 叢集的安裝配置

Zookeeper-3.4.10 叢集的安裝配置

一、Hadoop叢集配置如下


別忘了在/etc/目錄下,修改host檔案,新增主機名與IP地址之間的對映


二、ZooKeeper - 3.4.10 下載地址

三、ZooKeeper 安裝

下載後的tar.gz上傳至m1機器上的/usr/local目錄下,並解壓

tar -zxvf  zookeeper-3.4.10.tar.gz

解壓後,進入zookeeper目錄如下


四、ZooKeeper 配置

(1)配置環境變數

vim /etc/profile    (新增如下內容)


export JAVA_HOME=/usr/local/jdk1.8.0_161
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HBASE_HOME=/usr/local/hbase-1.3.1
export HADOOP_HOME=/usr/local/hadoop-2.7.6
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.10
export PATH=$PATH:$HADOOP_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin

新增後,使用source命令,使剛才修改的配置立即生效

source /etc/profile

(2)配置conf

cp zoo_sample.cfg zoo.cfg


開啟zoo.cfg,需要配置的內容如下:

vim zoo.cfg


dataDir=/usr/local/zookeeper-3.4.10/data
dataLogDir=/usr/local/zookeeper-3.4.10/data/logs
server.1=m1:2888:3888
server.2=s1:2888:3888
server.3=s2:2888:3888

1、指定Zookeeper的資料存放路徑(/usr/local/zookeeper-3.4.10/data)

2、指定Zookeeper的資料日誌存放路徑(/usr/local/zookeeper-3.4.10/data/logs)

3、客戶端連線zookeeper服務端的預設埠為2181

4、Zookeeper叢集最好是奇數個節點,根據選舉機制,半數以上的票數才能當選為leader(假如有兩個節點,你選我,我選你,根據半數以上票數規則,是無法確定叢集中到底是你來當leader還是我來當),因此,我們基於Hadoop的叢集,分別以NaneNode和兩個DataNode作為Zookeeper叢集的三個節點

5、server.1 、server.2、server.3表示Zookeeper叢集中各個節點所在的主機及服務埠號

6、埠2888:Zookeeper服務之間的通訊埠,比如leader和follower之間的通訊

7、埠3888:Zookeeper選舉leader用的埠

(3)建立data和日誌目錄

切換到zookeeper目錄下,建立data目錄和日誌目錄(-p 遞迴建立目錄,檢查目錄是否存在,不存在則建立)

mkdir -p data

mkdir -p data/logs

(4)建立myid檔案

      由於Zookeeper叢集中的每一個Zk服務都會有一個唯一標識自己的ID(zk程序ID),這個ID應用在myid和zoo.cfg兩個檔案中,其中myid檔案中存放的是當前Zk服務的標識ID,而zoo.cfg中以server.ID來指定當前的Zk服務程序對應的是哪一臺主機,當Zk服務啟動的時候,會首先讀取myid中的id標識,拿著這個id再去zoo.cfg檔案中進行匹配查詢,查詢的目的是為了弄清楚當前Zk服務在整個ZooKeeper叢集中的位置

      因此,如果沒有指定Zk服務的myid,Zk是啟動不了的

分別在m1、s1、s2三臺主機上的ZK安裝目錄下的data目錄下建立myid檔案,並依次寫入值:1,2,3如下:





(5)分別在三臺機器上啟動zk服務

zkServer.sh start



啟動集群后,zkServer之間會互相進行投票選舉,選出來一個leader,檢視zkServer狀態如下:

zkServer.sh status


(6)客戶端連線Zk叢集

zkCli.sh -server m1:2181,s1:2181,s2:2181

Connecting to m1:2181,s1:2181,s2:2181
2018-07-12 21:04:11,689 [myid:] - INFO  [main:[email protected]] - Client environment:zookeeper.version=3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMT
2018-07-12 21:04:11,693 [myid:] - INFO  [main:[email protected]] - Client environment:host.name=m1
2018-07-12 21:04:11,693 [myid:] - INFO  [main:[email protected]] - Client environment:java.version=1.8.0_161
2018-07-12 21:04:11,696 [myid:] - INFO  [main:[email protected]] - Client environment:java.vendor=Oracle Corporation
2018-07-12 21:04:11,696 [myid:] - INFO  [main:[email protected]] - Client environment:java.home=/usr/local/jdk1.8.0_161/jre
2018-07-12 21:04:11,696 [myid:] - INFO  [main:[email protected]] - Client environment:java.class.path=/usr/local/zookeeper-3.4.10/bin/../build/classes:/usr/local/zookeeper-3.4.10/bin/../build/lib/*.jar:/usr/local/zookeeper-3.4.10/bin/../lib/slf4j-log4j12-1.6.1.jar:/usr/local/zookeeper-3.4.10/bin/../lib/slf4j-api-1.6.1.jar:/usr/local/zookeeper-3.4.10/bin/../lib/netty-3.10.5.Final.jar:/usr/local/zookeeper-3.4.10/bin/../lib/log4j-1.2.16.jar:/usr/local/zookeeper-3.4.10/bin/../lib/jline-0.9.94.jar:/usr/local/zookeeper-3.4.10/bin/../zookeeper-3.4.10.jar:/usr/local/zookeeper-3.4.10/bin/../src/java/lib/*.jar:/usr/local/zookeeper-3.4.10/bin/../conf:.:/usr/local/jdk1.8.0_161/lib/dt.jar:/usr/local/jdk1.8.0_161/lib/tools.jar
2018-07-12 21:04:11,696 [myid:] - INFO  [main:[email protected]] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2018-07-12 21:04:11,696 [myid:] - INFO  [main:[email protected]] - Client environment:java.io.tmpdir=/tmp
2018-07-12 21:04:11,696 [myid:] - INFO  [main:[email protected]] - Client environment:java.compiler=<NA>
2018-07-12 21:04:11,696 [myid:] - INFO  [main:[email protected]] - Client environment:os.name=Linux
2018-07-12 21:04:11,696 [myid:] - INFO  [main:[email protected]] - Client environment:os.arch=amd64
2018-07-12 21:04:11,697 [myid:] - INFO  [main:[email protected]] - Client environment:os.version=2.6.32-431.el6.x86_64
2018-07-12 21:04:11,697 [myid:] - INFO  [main:[email protected]] - Client environment:user.name=root
2018-07-12 21:04:11,697 [myid:] - INFO  [main:[email protected]] - Client environment:user.home=/root
2018-07-12 21:04:11,697 [myid:] - INFO  [main:[email protected]] - Client environment:user.dir=/root
2018-07-12 21:04:11,698 [myid:] - INFO  [main:[email protected]] - Initiating client connection, connectString=m1:2181,s1:2181,s2:2181 sessionTimeout=30000 [email protected]
Welcome to ZooKeeper!
2018-07-12 21:04:11,724 [myid:] - INFO  [main-SendThread(s2:2181):[email protected]] - Opening socket connection to server s2/192.168.142.146:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2018-07-12 21:04:11,839 [myid:] - INFO  [main-SendThread(s2:2181):[email protected]] - Socket connection established to s2/192.168.142.146:2181, initiating session
[zk: m1:2181,s1:2181,s2:2181(CONNECTING) 0] 2018-07-12 21:04:11,907 [myid:] - INFO  [main-SendThread(s2:2181):[email protected]] - Session establishment complete on server s2/192.168.142.146:2181, sessionid = 0x36491c9d1e60000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null


相關推薦

分散式ZooKeeper-3.4.10叢集安裝

ZooKeeper是一個為分散式應用所設計的開源協調服務,其設計目的是為了減輕分散式應用程式所承擔的協調任務。它可以為使用者提供同步、配置管理、分組和命名等服務。 jstorm需要zk配合使用,記錄安裝文件。 一、基礎環境: JDK    :1.8.0_65 (要求

ZooKeeper-3.4.6叢集安裝配置

ZooKeeper是一個分散式開源框架,提供了協調分散式應用的基本服務,它向外部應用暴露一組通用服務——分散式同步(Distributed Synchronization)、命名服務(Naming Service)、叢集維護(Group Maintenance)等,簡化分

Zookeeper-3.4.10 叢集安裝配置

一、Hadoop叢集配置如下別忘了在/etc/目錄下,修改host檔案,新增主機名與IP地址之間的對映二、ZooKeeper - 3.4.10 下載地址三、ZooKeeper 安裝下載後的tar.gz上傳至m1機器上的/usr/local目錄下,並解壓tar -zxvf  z

ZooKeeper-3.4.10安裝配置

準備工作 1.搭建好的hadoop分散式系統 2.zookeeper-3.4.10.tar.gz 安裝 解壓zookeeper-3.4.10.tar.gz包完成安裝 #tar -zxvf zookeeper-3.4.10.tar.gz -C

zookeeper-3.4.9叢集安裝

下載 Centos7 Jdk-1.7 or 1.8 zookeeper3.4.9   主機 cancer03、cancer04、cancer05   上傳zookeeper-3.4.9.tar.gz到cancer03、cancer04、canc

3臺機器部署zookeeper-3.4.10叢集

一. 環境介紹 三臺主機,主機名和ip分別為: ubuntu1  10.3.19.171 ubuntu2  10.3.19.172 ubuntu3  10.3.19.173 三臺主機的登入使用者名稱是bigdata,home目錄是/home/bigdata 現在三臺主機上部

1.zookeeper-3.4.10叢集搭建

目錄 Zookeeper簡介 Zookeeper是一個高效的分散式協調服務,可以提供配置資訊管理、命名、分散式同步、叢集管理、資料庫切換等服務。它不適合用來儲存大量資訊,可以用來儲存一些配置、釋出與訂閱等少量資訊。Hadoop、Storm、訊息中介軟體、RPC服務框架、分散式資料庫同步系統,

linux安裝配置zookeeper-3.4.10

mirror http ima mkdir ech cli comm 利用 .com 安裝zookeeper: 下載地址:http://mirror.bit.edu.cn/apache/zookeeper/ zk節點最好是奇數個,這樣子方便在節點中選取leader節點; 上

zookeeper-3.4.10 安裝配置

  準備安裝包     zookeeper-3.4.10(連結:http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/)     解壓 tar -zxvf zookeeper-3.4.10        配置     進入zooke

Zookeeper 3.4.10 安裝部署

部署 zkserver dir zookeeper nbsp pos start 地址 class 安裝Zookeeper cd /opt/bigdata tar -zvxf zookeeper-3.4.10.tar.gz vi /etc/profile 添加: #zook

solrCloud叢集搭建(solr-6.5.1,zookeeper-3.4.10

Solr 是一個基於 Apache Lucene 之上的搜尋伺服器,它是一個開源的、基於 Java 的、執行在Servlet容器(如Apache Tomcat或Jetty)的資訊檢索庫。它旨在驅動功能強大的文件檢索應用程式 - 無論您需要根據使用者的查詢將資料服務到何處,Solr 都可以為您服務

zookeeper-3.4.10分散式叢集環境搭建

初始叢集狀態 機器名 IP 作用 linux系統 master 192.168.218.133   CentOS-6.9-x86_64-bin-D

Linux CentOS7下安裝Zookeeper-3.4.10服務(最新)

pre exp 路徑 datadir detail count 3.4 repr 數據文件 Linux CentOS7下安裝Zookeeper-3.4.10服務(最新) 2017年10月27日 01:25:26 極速-蝸牛 閱讀數:1933 版權聲明:

配置Java環境變數及搭建 Zookeeper-3.4.11 叢集

先準備好三臺linux(虛擬機器)。1. 先把Java環境配好。我CentOS-7-x86_64-DVD-1708 + jdk1.8.0_1611.1 先把jdk上傳到系統裡面(我利用的Filezilla),我在系統的根目錄建了一個資料夾soft,用來存放需要的安裝包,比如j

CentOS7 上安裝 Zookeeper-3.4.10 服務

 1、建立 /usr/local/services/zookeeper 資料夾:     mkdir -p /usr/local/services/zookeeper   2、進入到 /usr/local/services/zookeeper 目錄中:     cd /usr/local/services/z

在 CentOS6 上安裝 zookeeper-3.4.10 服務

在 CentOS7 上安裝 zookeeper-3.4.10 服務 1、建立 /usr/local/services/zookeeper 資料夾: mkdir -p /usr/local/services/zookeeper 2、進入到 /usr/l

Hadoop 2.7.4 + HBase 1.2.6 + ZooKeeper 3.4.10

配置文件 title 2.6 ase keep itl 配置 oop hadoop 1: Hadoop 環境準備 2: hadoop的配置文件設置(非HA) 3: ZooKeeper 安裝與配置Hadoop 2.7.4 + HBase 1.2.6 + ZooKeeper 3

CentOS 7 搭建zookeeper 3.4.13叢集

一、伺服器叢集 伺服器 安裝內容 node-i(192.168.0.111) jdk1.8.0_181 zookeeper 3.4.13 node-ii(192.168.0.133) jdk1.8.0_181 zookeeper 3.4

zookeeper啟動報錯/usr/local/zookeeper-3.4.10/bin/zkEnv.sh: Syntax error: "(" unexpected (expecting "fi")

百度才瞭解到,ubutu的sh設定連線為dash(我的docker 使用的ubutu境像) [email protected]:/usr/local/zookeeper-3.4.10/bin# ls -l /bin/sh                   lrw

Hadoop2.7.4分散式叢集安裝配置檔案

叢集環境 Hadoop版本為2.7.4 JDK版本1.8.0_144 安裝了三臺虛擬機器分別設定名稱和IP如下 主機名稱 IP地址 master 192.168.1.15 slave01 192.168.1.16