1. 程式人生 > >在Windows環境中安裝並使用kafka

在Windows環境中安裝並使用kafka

安裝部署 pat 事先 http art uri star -s --

1. 安裝部署Java

  • 下載需要安裝的軟件,下載地址:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
  • 雙節安裝,並配置環境變量
  • 使用下面的命令 驗證Java是否安裝成功
java -version

至於怎麽windows怎麽安裝java,此處不再贅述

2. 安裝zookeeper

下載zookeeper並解壓,下載地址:http://zookeeper.apache.org/releases.html,
選擇自己需要的版本
進入zookeeper設置目錄,將zoo_sample.cfg重命名為:zoo.cfg

在編輯器中打開zoo.cfg,將dataDir的值改成自己的data目錄(需要新建)
新建zookeeper系統變量ZOOKEEPER_HOME={zookeeper根目錄路徑},並把bin目錄添加到系統的path變量中

打開新的cmd,輸入zkserver,運行Zookeeper服務器,如果安裝成功,啟動的界面如下:

ZooKeeper JMX enabled by default
Using config: d:\workspace\software/zookeeper-3.4.12\bin\..\conf\zoo.cfg
Starting zookeeper ... STARTED

說明zookeeper已經安裝成功並運行在2181端口。

具體請參見本人另外的博文《Windows安裝和使用zookeeper》

3.安裝kafka
下載需要的軟件並解壓,下載地址:
http://kafka.apache.org/downloads.html
進入kafka安裝目錄的config目錄,修改server.properties文件,如修改的地方如下:
把log.dirs改成自己的目錄,一般在kafka安裝目錄下新建文件夾來存放日誌文件
Kafka會按照默認,在9092端口上運行,並連接zookeeper的默認端口:2181


4.運行kafka服務器
進入kafka安裝目錄,按下shift +右鍵,選擇 "在此處打開命令窗口",輸入如下命令並按回車

.\bin\windows\kafka-server-start.bat    .\config\server.properties

註意:kafka依賴zookeeper,需要事先啟動zookeeper.

5. 使用kafka

5.1 創建主題
進入kafka安裝目錄的\bin\windows下按shift +右鍵,選擇“在此處打開命令窗口”,輸入如下命令並回車:

kafak-topics.bat  --create --zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic test

5.2 創建producer 及consumer來測試服務器
在kafka安裝目錄的\bin\windows啟動新的命令窗口,producer和consumer需要分別啟動命令窗口。
啟動producter,啟動命令如下:

kafka-console-producer.bat  --broker-list localhost:9092  --topic test


啟動consumer,啟動命令如下:

kafka-console-consumer.bat  --zookeeper localhost:2181  --topic test


在producter窗口輸入內容,如果在consumer窗口能看到內容,則說明kafka安裝成功

6. kafka常用命令

#列出主題
kafka-topic.bat -list -zookeeper localhost:2181  
#描述主題  
kafka-topics.bat -describe -zookeeper localhost:2181 -topic [topic name]   
#從頭讀取消息
kafka-console-consumer.bat -zookeeper localhost:2181 -topic [topic name] -from-beginning   
#刪除主題
kafka-run-class.bat kafka.admin.TopicCommand -delete -topic [topic_to_delete] -zookeeper localhost:2181  
#查看topic的詳細信息 
./kafka-topic.sh -zookeeper localhost:2181 -describe -topic  [topic name]    
#為topic增加副本
./kafka-reassign-partitions.sh -zookeeper localhost:2181 -reassignment-json-file json/partitions-to-move.json -execute  
#為topic增加partition
./bin/kafka-topics.sh -zookeeper localhost:2181 -alter -partitions 20 -topic [topic name]    
#下線broker
./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper localhost:2181 broker [brokerId] --num.retries 3 --retry.interval.ms 60  shutdown broker 

在Windows環境中安裝並使用kafka