1. 程式人生 > >kafka集群安裝配置

kafka集群安裝配置

del etc pcs zookeepe 分發 pan div 宋體 rod

1.下載安裝包

2.解壓安裝包

3.進入到kafka的config目錄修改server.properties文件

技術分享圖片

進入後顯示如下:

技術分享圖片

修改log.dirs,基本上大部分都是默認配置

技術分享圖片

kafka依賴zookeeper保存一些meta信息,所以這些需要配置

分發安裝包到其他節點上

scp -r ....

再次修改配置文件(重要)

依次修改各服務器上配置文件的的broker.id,分別是0,1,2不得重復。

啟動集群

依次在各節點上啟動kafka

bin/kafka-server-start.sh config/server.properties

技術分享圖片

執行命令的情況如下:

技術分享圖片

5.4
Kafka常用操作命令

l 查看當前服務器中的所有topic

bin/kafka-topcs.sh --list --zookeeper zk01:2181

技術分享圖片

技術分享圖片

l 創建topic

./kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 3 --topic first

l 刪除topic

sh bin/kafka-topics.sh --delete --zookeeper zk01:2181 --topic test

需要server.properties中設置delete.topic.enable=true

否則只是標記刪除或者直接重啟。

l 通過shell命令發送消息

kafka-console-producer.sh --broker-list kafka01:9092 --topic first1

l 通過shell消費消息

sh bin/kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic test1

l 查看消費位置

sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup

l 查看某個

Topic的詳情

sh kafka-topics.sh --topic test --describe --zookeeper zk01:2181

kafka集群安裝配置