1. 程式人生 > >在Windows下Kafka的基本配置及簡單使用

在Windows下Kafka的基本配置及簡單使用

首先下載zookeeper(版本zookeeper-3.4.13)和kafka(版本kafka_2.12-2.0.0),解壓就可以使用了。

1、zookeeper:
在config目錄下,有zoo.conf這個配置檔案,可以配置埠和日誌儲存的位置,可以根據自己習慣更改。
首先啟動zookeeper,如果環境變數中配置過了zookeeper,則可以直接開啟cmd視窗,用zkserver來啟動,如下:
在Windows下Kafka的基本配置及簡單使用
如果列印的日誌都是INFO 或者WARN,並且進入守護執行緒狀態,表示啟動成功。

2、Kafka:
在config目錄下,有個server.properties配置檔案,有配置日誌目錄的: log.dirs=D:/nomalAPP/kafka_2.12-2.0.0/kafka-logs , 還有配置連線的zookeeper的地址的: zookeeper.connect=localhost:2181 。其他的基本不用管,也可以根據具體需要進行修改。
啟動命令為: .\bin\windows\kafka-server-start.bat .\config\server.properties 。如下:
在Windows下Kafka的基本配置及簡單使用


下面還會打印出一些基本配置資訊。啟動成功也會進入守護執行緒狀態。

上面啟動的兩個不要關閉,再繼續進行下面的操作:

3、topic:建立主題
命令為: .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test_topic ,如下所示:
在Windows下Kafka的基本配置及簡單使用
檢視已經存在的主題,命令為: .\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181, 如下:
在Windows下Kafka的基本配置及簡單使用

3、producer:生產者
建立生產者的命令:.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test_topic,如下:
在Windows下Kafka的基本配置及簡單使用

4、consumer:消費者
建立消費者的命令: .\bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic test_topic
但是我在用這個命令時出現了下面的情況:
在Windows下Kafka的基本配置及簡單使用
這是因為使用的kafka版本比較新,上面的這種方式已經過時被刪除了,所以沒法啟動。
這是可以換用另一種: .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:2181 --topic test_topic --from-beginning ,啟動如下:
在Windows下Kafka的基本配置及簡單使用


亂碼問題可以在具體生產者消費者程式碼中進行處理。

以上只是一些入門級的基礎操作,進階的搭建叢集,整合其他的技術這些,還有待學習!

個人理解:kafka就像是一個過渡管道,用來中轉訊息的(訊息代理),可能像一個微信公眾號,生產者就是公眾號的管理者,把文章放到公眾號裡面,而消費者就像是訂閱這個公眾號的人,只要訂閱了這個公眾號,在有新訊息推送到公眾號時,公眾號會把新文章推給訂閱者。
kafka的好處就在於:
(1)可靠性 - Kafka是分散式,它有分割槽,複製和容錯的。
(2)可擴充套件性 - Kafka訊息傳遞系統輕鬆縮放,無需停機。
(3)耐用性 - Kafka使用分散式提交日誌,這意味著訊息會盡可能快地保留在磁碟上,因此它是持久的。
(4)效能 - Kafka對於釋出和訂閱訊息都具有高吞吐量。 即使儲存了許多TB的訊息,它也保持穩定的效能。