準備

安裝部署

kafka_2.11-0.10.2.1.tgz 檔案下載下來，移動到自己的目錄下 我這裡是 /opt/kafaka/
tar -zxvf kafka_2.11-0.10.2.1.tgz 解壓

修改，server.properties

listeners=PLAINTEXT://192.168.176.129:9092 #本機地址，因為要遠端訪問
zookeeper.connect=10.231.83.73:2181 #寫上zookeeper的地址

執行命令啟動 [[email protected] kafka_2.11-0.10.2.1]# bin/kafka-server-start.sh config/server.properties

修改 consumer.properties
zookeeper.connect=10.231.83.73:2181 #寫上zookeeper的地址
group.id=test-consumer-group #consumer group id記住，到時候會用

客戶端除錯

新建topic

建立一個名為test的topic
bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test

檢視topic

bin/kafka-topics.sh –list –zookeeper localhost:2181

建立一個訊息消費者

消費test
bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic test –from-beginning

建立一個訊息生產者

給test主題 產生訊息
bin/kafka-console-producer.sh –broker-list localhost:9092 –topic test

訊息傳送和接收

Kafaka結構

Broker

Kafka叢集包含一個或多個伺服器，這種伺服器被稱為broker

Topic

每條釋出到Kafka叢集的訊息都有一個類別，這個類別被稱為Topic。（物理上不同Topic的訊息分開儲存，邏輯上一個Topic的訊息雖然保存於一個或多個broker上但使用者只需指定訊息的Topic即可生產或消費資料而不必關心資料存於何處）

Partition

Parition是物理上的概念，每個Topic包含一個或多個Partition.

Producer

負責釋出訊息到Kafka broker

Consumer

訊息消費者，向Kafka broker讀取訊息的客戶端。

Consumer Group

每個Consumer屬於一個特定的Consumer Group（可為每個Consumer指定group name，若不指定group name則屬於預設的group）。