Kafka叢集搭建

1、 Kafka的安裝需要java環境，cent os 7自帶java1.6版本，可以不用重新安裝，直接使用自帶的jdk 即可；如果覺得jdk版本太舊，也可以自己重新安裝；

3、 下載好kafka安裝包後，將其解壓到/usr/local目錄下，刪除壓縮包

4、 目前搭建了三個節點的kafka叢集，分別在10.10.67.102，10.10.67.104和10.10.67.106伺服器上；

5、 檢視配置檔案
進入kafka的config的目錄：

6、 先建立zk叢集，直接使用kafka自帶的zookeeper建立zk叢集，修改zookeeper.properties檔案：

三個機器上的zookeeper.properties檔案配置相同，需要注意的是日誌儲存的路徑，不會自動生成，需要自己手動建立相關的路徑， dataLogDir是我自己加的，日誌檔案太多，把日誌檔案區分開；

7、 建立myid檔案，進入/usr/local/kafka/zookeeper，建立myid檔案，將三個伺服器上的myid檔案分別寫入1，2，3，如圖：

—-myid是zk叢集用來發現彼此的標識，必須建立，且不能相同；

8、 進入kafka目錄 執行啟動zookeeper命令：
./bin/zookeeper-server-start.sh config/zookeeper.properties &
三臺機器都執行啟動命令，檢視zookeeper的日誌檔案，沒有報錯就說明zookeeper叢集啟動成功了。

9、 搭建kafka叢集，修改server.properties配置檔案：

server.properties配置檔案的修改主要在開頭和結尾，中間保持預設配置即可；需要注意的點是broker.id的值三個節點要配置不同的值，分別配置為0，1，2；log.dirs必須保證目錄存在，不會根據配置檔案自動生成；

10、 啟動kafka叢集，進行kafka叢集測試，執行如下命令 ：
建立Topic  --replication-factor 是和配置檔案配置num.partitions=1有關 不能大於這個值
bin/kafka-topics.sh --create --zookeeper node1:2181,node2:2181,node3:2181 --replication-factor 1 --partitions 3 --topic kfk
建立生產者
bin/kafka-console-producer.sh --broker-list 10.1.2.20:9092,10.1.2.105:9092,10.1.2.106:9092 --topic kfk
建立消費者
bin/kafka-console-consumer.sh --zookeeper 10.1.2.20:2181,10.1.2.105:2181,10.1.2.106:2181 --from-beginning --topic kfk