centos7中kafka叢集環境搭建部署
阿新 • • 發佈:2018-11-07
一、前期準備
1、下載kafka安裝包
官方下載地址:http://kafka.apache.org/downloads.html
2、準備好要安裝的叢集環境的目標機器(3檯安裝centos7系統)
3、將下載好的壓縮包拷貝到叢集機器中
----可利用shell軟體的rz命令進行拷貝或者使用winSCP工具
4、安裝JDK,可參照:https://blog.csdn.net/xuexi_39/article/details/82854735
5、建立hadoop使用者並賦予管理員許可權
6、zookeeper叢集已安裝,可參照另外博文: https://blog.csdn.net/xuexi_39/article/details/82867995
二、解壓kafka壓縮包到目標安裝目錄中
1、將壓縮包解壓到/usr/local目錄下
tar -zxvf kafka_2.11-2.0.0.tgz -C /usr/local/
2、重新命名kafka檔名名稱
mv kafka_2.11-2.0.0 kafka
三、將kafka目錄賦予所有者及許可權歸屬為hadoop使用者
chown -hR hadoop /usr/local/kafka/ # 修改所有者為hadoop chgrp -hR hadoop /usr/local/kafka/ # 修改所屬組為hadoop
四、搭建kafka叢集
1、進入/usr/local/kafka/config目錄下
檢視配置檔案server.properties,該檔案的各個引數說明如下:
broker.id=0 #當前機器在叢集中的唯一標識,和zookeeper的myid性質一樣 port=9092 #當前kafka對外提供服務的埠預設是9092 host.name=192.168.7.100 #這個引數預設是關閉的,在0.8.1有個bug,DNS解析問題,失敗率的問題。 num.network.threads=3 #這個是borker進行網路處理的執行緒數 num.io.threads=8 #這個是borker進行I/O處理的執行緒數 log.dirs=/opt/kafka/kafkalogs/ #訊息存放的目錄,這個目錄可以配置為“,”逗號分割的表示式,上面的num.io.threads要大於這個目錄的個數這個目錄,如果配置多個目錄,新建立的topic他把訊息持久化的地方是,當前以逗號分割的目錄中,那個分割槽數最少就放那一個 socket.send.buffer.bytes=102400 #傳送緩衝區buffer大小,資料不是一下子就傳送的,先回儲存到緩衝區了到達一定的大小後在傳送,能提高效能 socket.receive.buffer.bytes=102400 #kafka接收緩衝區大小,當資料到達一定大小後在序列化到磁碟 socket.request.max.bytes=104857600 #這個引數是向kafka請求訊息或者向kafka傳送訊息的請請求的最大數,這個值不能超過java的堆疊大小 num.partitions=1 #預設的分割槽數,一個topic預設1個分割槽數 log.retention.hours=168 #預設訊息的最大持久化時間,168小時,7天 message.max.byte=5242880 #訊息儲存的最大值5M default.replication.factor=2 #kafka儲存訊息的副本數,如果一個副本失效了,另一個還可以繼續提供服務 replica.fetch.max.bytes=5242880 #取訊息的最大直接數 log.segment.bytes=1073741824 #這個引數是:因為kafka的訊息是以追加的形式落地到檔案,當超過這個值的時候,kafka會新起一個檔案 log.retention.check.interval.ms=300000 #每隔300000毫秒去檢查上面配置的log失效時間(log.retention.hours=168 ),到目錄檢視是否有過期的訊息如果有,刪除 log.cleaner.enable=false #是否啟用log壓縮,一般不用啟用,啟用的話可以提高效能 zookeeper.connect=192.168.7.100:2181,192.168.7.101:2181,192.168.7.102:2181 #設定zookeeper的連線埠
2、修改配置檔案中的增加如下引數,即可:
broker.id=1
port= 9092
host.name=192.168.251.28
log.dirs=/usr/local/kafka/log/kafka
zookeeper.connect=192.168.251.28:2181,192.168.251.29:2181,192.168.251.30:2181
說明:broker.id的值三個節點要配置不同的值,分別配置為0,1,2;log.dirs必須保證目錄存在,不會根據配置檔案自動生成;
五、啟動zookeeper服務(叢集中服務都啟動)
六、啟動kafka叢集
1、進入/usr/local/kafka目錄中,執行命令:
./bin/kafka-server-start.sh -daemon config/server.properties &
說明:叢集中各個節點都要啟動,啟動無報錯
2、檢視是否啟動成功