一、Kafka 安裝

1.1 Zookeeper 的安裝

1. 進入需要安裝的目錄 (此處以 /usr/software 為準)
2. tar -zxvf /mnt/hgfs/share-file/zookeeper-3.4.13
3. sudo vim /etc/profile

   export JAVA_HOME=/usr/software/jdk1.8.0_191
   export JRE_HOME=$JAVA_HOME/jre
   export ZOOKEEPER_HOME=/usr/software/zookeeper-3.4.13
   export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH:
   export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:$ZOOKEEPER_HOME/bin
    
   

4. source /etc/profile
5. cd zookeeper-3.4.13/conf
6. sudo cp zoo_sample.cfg zoo.cfg
7. sudo vim zoo.cfg

   tickTime=2000 #ZooKeeper伺服器心跳時間，單位為ms
   initLimit=10 #投票選舉心leader的初始化時間
   syncLimit=5 #leader與follower心跳檢測最大容忍時間，響應超過syncLimit * tickTime,leader認為follower死掉，從伺服器列表中刪除follower
   clientPort=2181 #埠
   dataDir=/tmp/zooKeeper/data #資料目錄
   dataLogDir=/tmp/zooKeeper/log #日誌目錄
    
   

8. sudo mkdir -p /tmp/zookeeper/data #資料目錄
9. sudo mkdir -p /tmp/zookeeper/log #日誌目錄
10. cd …
11. cd bin
12. sudo ./zkServer.sh start
13. sudo ./zkServer.sh stop

1.2 Kafka 的安裝和測試

建議 Ubuntu 使用者 以 ROOT 許可權執行。

1 tar -zxvf /mnt/hgfs/share-file/kafka_2.12-2.0.1
2 cd kafka_2.12-2.0.1
3 ./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

5 jps

1425 QuorumPeerMain
3498 Jps
1724 Kafka

6 bin/zookeeper-server-stop.sh

7 建立主題

單機建立主題

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

叢集建立主題 (ip自己定義哦)

./bin/kafka-topics.sh --create --zookeeper ip:2181,ip:2182,ip:2183 --replication-factor 3 --partitions 3 --topic reptest

8 檢視主題

檢視有哪些主題

./bin/kafka-topics.sh --list --zookeeper localhost:2181    

檢視 test 主題

./bin/kafka-topics.sh --describe --zookeeper  localhost:2181 --topic test

9 生產者、消費者建立連線

生產者啟動

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消費者(較高版本，這裡使用的是 kafka2.12-2.0.1)

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

消費者低版本

./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

然後生產者就和消費者之間，建立連線了，也可以進行通訊了。