kafka叢集安裝步驟
阿新 • • 發佈:2018-11-09
準備工作: 安裝好zookeeper叢集
一、上傳並解壓
1. cd /usr/kafka (沒有目錄的話自己建立)
2. rz
3. tar -zxvf kafka_2.12-1.1.0.tgz
二、2.修改配置檔案 /usr/kafka/kafka_2.12-1.1.0/config
1.修改server.properties 修改broker.id和zookeeper,並在最後追加host.name=master broker.id=01 ...... zookeeper.connect=zhiyou01:2181,zhiyou02:2181,zhiyou03:2181 ....... host.name=master
三、分發到其他節點下
(1)scp -r /usr/kafka/ [email protected]:/usr/kafka/
(2)scp -r /usr/kafka/ [email protected]:/usr/kafka/
四、更改其他節點的配置檔案
slave01 的 broker.id=02
host.name=zhiyou02
slave02 的 broker.id=03
host.name=zhiyou03
五、啟動
1、先啟動zookeeper (3臺)
cd /usr/zookeeper/zookeeper-....../bin/
./zkServer.sh start
2、再啟動kafka (3臺)
[ [email protected] kafka_2.12-1.1.0]# ./bin/kafka-server-start.sh -daemon config/server.properties &
[1] 2949
[[email protected] kafka_2.12-1.1.0]# jps
2549 QuorumPeerMain
3261 Jps
3199 Kafka
[1]+ Done ./bin/kafka-server-start.sh -daemon config/server.properties
[ [email protected] kafka_2.12-1.1.0]#
六、建立主題
1.[[email protected] kafka_2.12-1.1.0]# ./bin/kafka-topics.sh --create --zookeeper master:2181,slave01:2181,slave02:2181 --replication-factor 3 --partitions 3 --topic test
Created topic "test".
[[email protected] kafka_2.12-1.1.0]#
2.列出已建立的topic列表(master上)
[[email protected] kafka_2.12-1.1.0]# ./bin/kafka-topics.sh --list --zookeeper localhost:2181
test
[[email protected] kafka_2.12-1.1.0]#
3.啟動控制檯生產者 (master上)
[email protected] kafka_2.12-1.1.0]./bin/kafka-console-producer.sh --broker-list master:9092, slave01:9092, slave02:9092 --topic test
[[email protected] kafka_2.12-1.1.0]# ./bin/kafka-console-producer.sh --broker-list zhiyou01:9092, zhiyou02:9092, zhiyou03:9092 --topic test
> hello
4.啟動控制檯消費者 (其他的節點上面)
[[email protected] kafka_2.12-1.1.0]# ./bin/kafka-console-consumer.sh --bootstrap-server master:9092, slave01:9092, slave02:9092 --from-beginning --topic test
從生成者輸入訊息,在消費者檢視訊息,在其他節點上可以接收到hello即成功