最新領導要求整理kafka的搭建整理文件，特此整理如下：

一、Kafka叢集搭建

1. 安裝環境：

centos，jdk8，安裝好的zookeeper環境，三臺相同的機器作為節點

2下載、解壓kafka，版本是kafka_2.11-1.1.0；

生產環境為：/hadoop/
測試環境下為：/home/

3.修改配置

進入kafka的安裝目錄下，修改配置檔案server.properties即可。
cd kafka_2.11-1.1.0/config/
vim server.properties

其中在server.properties中關鍵配置項說明：
以下是比較重要的幾項配置

broker.id = 1 (三個節點配成不同的1,2,3)
host.name=hb2 (本機ip或者主機名)
listeners= PLAINTEXT://192.168.xx.xx:9092 (本機ip)
advertised.listeners=PLAINTEXT://192.168.xx.xx:9092
log.dirs=/data1/kafka-logs
zookeeper.connect= hb2:2181,hb3:2181,hd4:2181,hd5:2181,hd6:2181 1 (之前安裝的三個zk節點)
log.retention.hours=168 ##預設kafka中資料儲存一週
 

完成之後，修改mastesr和slaves的主機名稱之後，將所有的整個安裝檔案通過scp命令分發同步到其他叢集節點中

4.啟動停止kafka叢集

單臺啟停：在/hadoop/
/hadoop/kafka_2.11-1.1.0/bin/目錄下，使用
./bin/kafka-server-start.sh -daemon ./config/server.properties
單臺啟停：停止的時候，找到程序號。直接kill就行了

由於需要啟動每一臺機器的kafka節點服務，這裡我配置了kafka叢集一鍵指令碼start_kafka_byfang.sh和stop_kafka_byfang.sh如下：

start_kafka_byfang.sh指令碼

二、搭建kafka-eagle-web

其中kafka-eagle是kafka的web-ui監控介面，用來使用視覺化圖形檢視topic，分割槽數量等資訊；

1.下載與解壓

下載kafka_2.11-1.1.0.tgz壓縮檔案，然後使用tar -zxvf kafka_2.11-1.1.0.tgz 解壓縮
下面開始安裝kafka的web –ui，安裝路徑在/hadoop/下
下載解壓kafka-eagle-web-1.2.4.tgz

2.修改配置：

更改配置檔案/hadoop/kafka-eagle-web-1.2.4/conf/system-config.properties

只用更改以下重要配置項即可：

kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=hb2:2181,hb3:2181,hd4:2181,hd5:2181,hd6:2181
kafka.eagle.sasl.client=/hadoop/kafka-eagle-web-1.2.4/conf/kafka_client_jaas.conf

#儲存位置
kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle-web-1.2.4/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=123456

3.啟動停止

單機啟動：./ke.sh start
單機停止：./ke.sh stop

然後就可以訪問web： http://host:port/ke
登陸使用者名稱：密碼(預設，在server.properties修改)
kafka.eagle.username=root
kafka.eagle.password=123456
登陸成功之後如下圖：

刪除topic時候需要輸入口令為：

# delete kafka topic token
kafka.eagle.topic.token=keadmin