1. 程式人生 > >kafka 的安裝及測試

kafka 的安裝及測試

1.下載

下載地址: http://kafka.apache.org/downloads

2.解壓到/opt/kafka目錄

3.修改server.properties

   3.1 修改broker.id,全域性唯一,例如 broker.id=1

   3.2 修改log.dirs,訊息超時或者快取一定時間會存檔,這是存檔路徑

   3.3 修改zookeeper配置

4. 測試啟動

   master,slave1,slave2三臺機器都要啟動

  安裝目錄下

./bin/kafka-server-start.sh config/server.properties

如果啟動正常,則以後臺方式啟動

nohup ./bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &

 以jps命令檢視程序是否啟動

5.測試傳送

  5.1 新建topic

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic test --partitions 3 --replication-factor 2

  partitions 為分割槽數,一個分割槽只會有一個消費者,replication-factor為備份數

 使用下面檢視建立的 topic: 

bin/kafka-topics.sh --zookeeper localhost:2181 --list

啟動一個 producer

以 sync 模式啟動一個 producer:

$ bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --sync --topic zerg.hydra

然後,輸入以下內容:

Hello, world!
Rock: Nerf Paper. Scissors is fine.

啟動一個 consumer

在另一個終端執行:

$ bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic zerg.hydra --from-beginning

注意,生產環境通常不會新增 --from-beginning 引數。

觀察輸出,你會看到下面內容:

Hello, world!
Rock: Nerf Paper. Scissors is fine.

把 consumer 停掉再啟動,你還會看到相同的輸出結果。

參考連結:

https://www.cnblogs.com/valor-xh/p/6306250.html

https://www.cnblogs.com/zhaojiankai/p/7257617.html