第一步.kafka 叢集安裝環境準備

第二步.安裝zoookeeper叢集

     注意kafka有自己自帶的zookeeper，我這裡沒用kafka自帶的zookeeper叢集，而是自己安裝的zookeeper叢集，因為zookeeper在其他地方用到比如hadoop叢集中

        

因為是叢集所以在每個節點都能檢視到剛建立節點kafka的結果:這樣證明zookeeper叢集安裝成功並且可以使用

第三步:kafka叢集安裝

         # The minimum age of a log file to be eligible for deletion
         log.retention.hours=168


         # A size-based retention policy for logs. Segments are pruned from the log as long as the remaining
         # segments don't drop below log.retention.bytes.
         #log.retention.bytes=1073741824

          # The maximum size of a log segment file. When this size is reached a new log segment will be created.
          log.segment.bytes=1073741824

          # The interval at which log segments are checked to see if they can be deleted according 
          # to the retention policies
          log.retention.check.interval.ms=300000

         # By default the log cleaner is disabled and the log retention policy will default to just delete segments after                their retention expires.
         # If log.cleaner.enable=true is set the cleaner will be enabled and individual logs can then be marked for log               compaction.
        log.cleaner.enable=false

        zookeeper.connect=192.168.139.130:2181,192.168.139.131:2181,192.168.139.132:2181/kafka

        # Timeout in ms for connecting to zookeeper

        #連線zookeeper超時
        zookeeper.connection.timeout.ms=6000

注意：紅色代表必須配置的項,叢集其他節點的配置更這個配置一樣，只是下面的四項不相同

    4.配置成功以後按順序啟動kafka,master->node1->node2

     bin/kafka-server-start.sh config/server.properties &

注意&符號是為了能夠繼續輸入命令沒有特殊含義

5.啟動成功後就是驗證kafka叢集安裝是否成功

建立一個名稱為my-replicated-topic5的Topic，5個分割槽，並且複製因子為3

bin/kafka-topics.sh --create --zookeeper 192.168.139.130:2181,192.168.139.131:2181,192.168.139.132:2181/kafka 

--replication-factor 3 --partitions 5 --topic my-replicated-topic5

檢視建立的Topic，執行如下命令

bin/kafka-topics.sh --describe --zookeeper 192.168.139.130:2181,192.168.139.131:2181,192.168.139.132:2181/kafka 

--topic my-replicated-topic5

檢視結果

解釋

bin/kafka-topics.sh –list –zookeeper 192.168.172.98:2181/kafka

1 Partition： 分割槽
2 Leader ： 負責讀寫指定分割槽的節點
3 Replicas ： 複製該分割槽log的節點列表
4 Isr ： “in-sync” replicas，當前活躍的副本列表（是一個子集），並且可能成為Leader
我們可以通過Kafka自帶的bin/kafka-console-producer.sh和bin/kafka-console-consumer.sh指令碼，來驗證演示如果釋出訊息、消費訊息。

6.在node2終端，啟動Producer，並向我們上面建立的名稱為my-replicated-topic5的Topic中生產訊息

 bin/kafka-console-producer.sh --broker-list 192.168.139.130:9091,192.168.139.133:9092,192.168.139.132:9092 --topic my-replicated-topic5

7.在master上啟動Consumer，並訂閱我們上面建立的名稱為my-replicated-topic5的Topic中生產的訊息

bin/kafka-console-consumer.sh --zookeeper 192.168.139.130:2181,192.168.139.131:2181,192.168.139.132:2181/kafka --from-beginning --topic my-replicated-topic5

現在就可以在Producer輸入你的訊息，然後你就可以在consumer端看到你輸入的訊息內容，說明你的叢集安裝成功

8.啟停kafka叢集

啟動:bin/kafka-server-start.sh config/server.properties &

停止:bin/kafka-server-stop.sh

第四步:kafka叢集安裝成功後怎樣建立topic

[[email protected] kafka_2.11-0.9.0.0]# bin/kafka-topics.sh --list --zookeeper 192.168.139.130:2181/kafka
[2016-04-22 04:27:20,928] WARN Connected to an old server; r-o mode will be unavailable (org.apache.zookeeper.ClientCnxnSocket)
my-replicated-topic5
test_topic5


  刪除：

 bin/kafka-topics.sh --delete --zookeeper 192.168.139.130:2181/kafka test_topic5

（1）配置檔案中必須delete.topic.enable=true，否則只會標記為刪除，而不是真正刪除。

（2）執行此指令碼的時候，topic的資料會同時被刪除。如果由於某些原因導致topic的資料不能完全刪除（如其中一個broker down了）,此時topic只會被marked for deletion，

而不會真正刪除。此時建立同名的topic會有衝突


叢集安裝結束 希望安裝本部落格安裝成功的同學 給予好評 謝謝

配置檔案下載路徑:http://download.csdn.net/detail/wangguanyin98/9499185