windows kafka 環境搭建踩坑記
版本介紹(64位):
Windows 10
JDK1.8.0_171
點選連結進行下載
1. JDK安裝和環境搭建
自行百度。
2. zookeeper 安裝和執行
a. 點選上方連結直接下載,或者有其他連結,下載此檔案
b. 下載至本地,並解壓
c. 更改配置檔案
選擇conf中的zoo_sample.cfg檔案,改名為zoo.cfg,並更改配置檔案內容.
改名為
更改配置檔案內容,設定資料路徑
d. 配置環境變數:
ZOOKEEPER_HOME:D:\java\zookeeper-3.4.8
Path: %ZOOKEEPER_HOME%\bin
d. 執行 zkServer
如果出現找不到命令的情況就使用管理員許可權執行(因為我們沒在使用者環境變數裡配置路徑)
此視窗不要關閉 !!! ,新建cmd,檢查Zookeeper有沒有真正執行成功。
使用命令 netstat -ano,zookeeper預設埠為2181,找到2181標識,即為執行成功,zkserver視窗仍不要關閉,供之後除錯kafka使用。
2. kafka安裝測試
a. 點選版本介紹處連結,直接下載,或者其他連結下載下方內容
b. 解壓問題
使用解壓工具解壓後,出現無法開啟的現象,並沒有預期的資料夾,涉及到*.gz格式檔案解壓問題
使用7-Zip工具提取,具體參考: https://www.7-zip.org/ ,下載並直接安裝便可
安裝完成後,使用7-Zip提取.gz檔案,【右擊檔案】--》【7-Zip】--》【開啟壓縮包】
【雙擊開啟】--》【提取】--》【選擇提取位置】--》【確定】,提取出資料夾
c. 修改配置檔案
log.dirs=D:\\java\\kafka_2.11-0.10.0.1\\kafka-logs
zookeeper.connect=localhost:2181
d. 執行測試
1. 使用命令列工具,進入安裝目錄D:\java\kafka_2.11-0.10.0.1,執行以下命令
.\bin\windows\kafka-server-start.bat .\config\server.properties
kafka預設例項工作在9092埠,建立了broker 0,並註冊入zookeeper
此視窗不要關閉!!! ,作為 broker 服務
2. 建立主題
使用命令列工具,進入安裝目錄D:\java\kafka_2.11-0.10.0.1,執行以下命令,建立主題topic_test
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic_test
檢視主題:
.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181
3. 建立生產者
使用命令列工具,進入安裝目錄D:\java\kafka_2.11-0.10.0.1,執行以下命令,不要關閉此視窗,進行資訊生產
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic topic_test
4. 建立消費者
使用命令列工具,進入安裝目錄D:\java\kafka_2.11-0.10.0.1,執行以下命令,不要關閉視窗,等待生產者的訊息
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic_test --from-beginning --zookeeper 127.0.0.1:2181
5. 生產訊息,並檢視消費:
在生產者視窗輸入訊息:hello
在消費者視窗能夠看到訊息:hello
6. 在zookeeper中檢視kafka的註冊資訊
命令列執行 zkcli,開啟zookeeper客戶端,可以執行操作命令
檢視kafka brokers,結果如下
==============測試完畢=============