windwos kafka 安裝配置
1.簡介
Kafka是一種高吞吐量的分散式釋出訂閱訊息系統。詳細介紹可查閱官網：kafka官網
2.環境搭建
2.1 安裝JDK
下載地址：jre下載
2.2 安裝Zookeeper
下載後，解壓放在目錄D:\bigdata（本文所用的目錄）下，關於zookeeper以及kafka的目錄，路徑中最好不要出現空格，比如D:\Program Files，儘量別用，執行指令碼時會有問題。 ①進入zookeeper的相關設定所在的檔案目錄，例如本文的：D:\bigdata\zookeeper-3.4.10\conf ②將"zoo_sample.cfg"重新命名為"zoo.cfg" ③開啟zoo.cfg(至於使用什麼編輯器，根據自己喜好選即可)，找到並編輯： dataDir=/tmp/zookeeper to D:/bigdata/zookeeper-3.4.10/data或 D:\bigdata\zookeeper-3.4.10\data(路徑僅為示例，具體可根據需要配置) 這裡注意，路徑要麼是"/“分割，要麼是轉義字元”\"，這樣會生成正確的路徑(層級，子目錄)。 ④與配置jre類似，在系統環境變數中新增： a.系統變數中新增ZOOKEEPER_HOME=D:\bigdata\zookeeper-3.4.10 b.編輯系統變數中的path變數，增加%ZOOKEEPER_HOME%\bin ⑤在zoo.cfg檔案中修改預設的Zookeeper埠(預設埠2181)
⑥開啟cmd視窗，輸入zkserver，執行Zookeeper，執行結果如下：
如果出現 java_home is not set 在zookeeper目錄bin下的zkEnv.cmd中新增：set JAVA_HOME 例：
set JAVA_HOME="C:\Program Files (x86)\Java\jdk1.8.0_121"
2.3 安裝kafka
下載地址：http://kafka.apache.org/downloads 要下載Binary downloads這個型別，不要下載原始檔，這種方便使用。下載後，解壓放在D:\bigdata目錄下。 ①進入kafka配置檔案所在目錄，D:\bigdata\kafka_2.11-0.9.0.1\config ②編輯檔案"server.properties"，找到並編輯： log.dirs=/tmp/kafka-logs to log.dirs=D:/bigdata/kafka_2.11-0.9.0.1/kafka-logs 或者 D:\bigdata\kafka_2.11-0.9.0.1\kafka-logs 同樣注意：路徑要麼是"/“分割，要麼是轉義字元”\"，這樣會生成正確的路徑(層級，子目錄)。錯誤路徑情況可自行嘗試，資料夾名為這種形式：bigdatakafka_2.11-0.9.0.1kafka-logs ③在server.properties檔案中，zookeeper.connect=localhost:2181代表kafka所連線的zookeeper所在的伺服器IP以及埠，可根據需要更改。本文在同一臺機器上使用，故不用修改。 ④kafka會按照預設配置，在9092埠上執行，並連線zookeeper的預設埠2181。
2.4 執行kafka
提示：請確保啟動kafka伺服器前，Zookeeper例項已經在執行，因為kafka的執行是需要zookeeper這種分散式應用程式協調服務。
①進入kafka安裝目錄D:\bigdata\kafka_2.11-0.9.0.1
②按下shift+滑鼠右鍵，選擇"在此處開啟命令視窗"，開啟命令列。
③在命令列中輸入：.\bin\windows\kafka-server-start.bat .\config\server.properties 回車。
④正確執行的情況為：
server' JVM atC:\Program Files\Java\jre6\bin\server\jvm.dll’異常
解決方法很簡單：
把C:\Program Files\Java\jdk1.6.0_10\jre\bin資料夾下的server資料夾
複製到C:\Program Files\Java\jre6\bin下即可！
2.5 建立主題
①建立主題，命名為"test0811"，replicationfactor=1(因為只有一個kafka伺服器在執行)。可根據叢集中kafka伺服器個數來修改replicationfactor的數量，以便提高系統容錯性等。 ②在D:\bigdata\kafka_2.11-0.9.0.1\bin\windows目錄下開啟新的命令列 ③輸入命令： kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test0811 回車。
該視窗可以關閉。
2.6 建立生產者(producer)和消費者(consumer) ①在D:\bigdata\kafka_2.11-0.9.0.1\bin\windows目錄下開啟新的命令列。 ②輸入命令，啟動producer： kafka-console-producer.bat --broker-list localhost:9092 --topic test0811 該視窗不要關閉。 ③同樣在該目錄下開啟新的命令列。 ④輸入命令，啟動consumer： kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test0811