一、安裝Zookeeper

1.叢集規劃

在hadoop102、hadoop103和hadoop104三個節點上部署Zookeeper。

2.解壓安裝

       1.解壓zookeeper安裝包到/usr/local/目錄下

tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/

       2.在/usr/local/zookeeper-3.4.10/這個目錄下建立zkData

mkdir -p zkData

       3.重新命名/usr/local/zookeeper-3.4.10/conf這個目錄下的zoo_sample.cfg為zoo.cfg

mv zoo_sample.cfg zoo.cfg
 

3.配置zoo.cfg檔案

        1.具體配置（如果沒有配置hosts，需要使用ip地址來代替）

dataDir=/usr/local/zookeeper-3.4.10/zkData
#######################增加如下配置cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

        2.配置引數解讀

Server.A=B:C:D。

        A是一個數字，表示這個是第幾號伺服器；

        B是這個伺服器的ip地址；

        C是這個伺服器與叢集中的Leader伺服器交換資訊的埠；

        D是萬一叢集中的Leader伺服器掛了，需要一個埠來重新進行選舉，選出一個新的Leader，而這個埠就是用來執行選舉時伺服器相互通訊的埠。

        叢集模式下配置一個檔案myid，這個檔案在dataDir目錄下，這個檔案裡面有一個數據就是A的值，Zookeeper啟動時讀取此檔案，拿到裡面的資料與zoo.cfg裡面的配置資訊比較從而判斷到底是哪個server。

4.叢集操作

        1.在/usr/local/zookeeper-3.4.10/zkData目錄下建立一個myid的檔案

touch myid

新增myid檔案，注意一定要在linux裡面建立，在notepad++裡面很可能亂碼

        2.編輯myid檔案

vi myid

在檔案中新增與server對應的編號：如2

        3.拷貝配置好的zookeeper到其他機器上（需要配置好ssh，如果沒有可以手動複製）

scp -r zookeeper-3.4.10/ [email protected]:/usr/local/
scp -r zookeeper-3.4.10/ [email protected]:/usr/local/

並分別修改myid檔案中內容為3、4

        4.分別啟動zookeeper （每一個伺服器上都要啟動）

bin/zkServer.sh start

        5.檢視狀態

bin/zkServer.sh status

JMX enabled by default

Using config: /usr/local/zookeeper-3.4.10/bin/../conf/zoo.cfg

Mode: follower

二、Kafka叢集部署

1.解壓安裝包

tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/local

2.修改解壓後的檔名稱

mv kafka_2.11-0.11.0.0/ kafka

3.在/usr/local/kafka目錄下建立logs資料夾

mkdir logs

4.修改配置檔案

cd config/
vi server.properties

輸入以下內容：

#broker的全域性唯一編號，不能重複
broker.id=0
#是否允許刪除topic
delete.topic.enable=true
#處理網路請求的執行緒數量
num.network.threads=3
#用來處理磁碟IO的執行緒數量
num.io.threads=8
#傳送套接字的緩衝區大小
socket.send.buffer.bytes=102400
#接收套接字的緩衝區大小
socket.receive.buffer.bytes=102400
#請求套接字的最大緩衝區大小
socket.request.max.bytes=104857600
#kafka執行日誌存放的路徑
log.dirs=/usr/local/kafka/logs
#topic在當前broker上的分割槽個數
num.partitions=1
#用來恢復和清理data下資料的執行緒數量
num.recovery.threads.per.data.dir=1
#segment檔案保留的最長時間，超時將被刪除
log.retention.hours=168
#配置連線Zookeeper叢集地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

5.配置環境變數

        1.修改配置檔案

vi /etc/profile

        2.新增以下內容

#KAFKA_HOME
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin

        3.更新環境變數

source /etc/profile

6.分發安裝包，將配置檔案和kafka程式拷貝到其他兩個伺服器上

7.分別在hadoop103和hadoop104上修改配置檔案/usr/local/kafka/config/server.properties中的

broker.id=1、broker.id=2

       注：broker.id不得重複

8.啟動叢集

依次在hadoop102、hadoop103、hadoop104節點上啟動kafka

bin/kafka-server-start.sh config/server.properties &

9.關閉叢集

bin/kafka-server-stop.sh stop