kafka的web管理工具---kafka-manager安裝部署
關於kafka叢集的安裝配置，請移步：https://blog.csdn.net/Johnson8702/article/details/84588095
一、背景
在kafka裡面沒有一個較好自帶的web ui，啟動之後無法通過頁面檢視，所以，在這裡介紹一個第三方的kafka管理工具。
二、功能
為了簡化開發者和運維維護kafka叢集工作，yahoo開發了一個基於web的kafka叢集的管理工具，叫做kafka-manager。它支援管理多個叢集、選擇副本、副本重新分配以及建立Topic。同時，這個管理工具也可以快速瀏覽kafka叢集。
主要功能：
1.管理多個kafka叢集
2.便捷地檢查kafka叢集狀態，如topics，brokers，備份分佈情況，分割槽分佈情況
3.選擇副本
4.基於當前分割槽狀況執行
5.選擇topic配置並建立topic（0.8.1.1和0.8.2的配置不同）
6.刪除topic（只支援0.8.2以上的版本並且要在broker配置中設定delete.topic.enable=true）
7.Topic list會指明哪些topic被刪除（0.8.2以上版本適用）
8.為已存在的topic增加分割槽
9.為已存在的topic更新配置
10.在多個topic上批量重分割槽（可選partition broker位置）
三、下載
下載地址：https://pan.baidu.com/s/1jIE3YL4
四、安裝
將zip壓縮檔案上傳到Linux叢集中，我這裡使用的叢集為hadoop1，hadoop2和hadoop3，上傳到/home/software目錄下，並解壓
| [[email protected] software]# pwd /home/software [[email protected] software]# ll 總用量 59584 drwxr-xr-x 11 10021 10021 4096 10月 8 14:51 hadoop-2.7.1 drwxr-xr-x 8 uucp 143 4096 10月 8 11:41 jdk1.8 drwxr-xr-x 8 root root 4096 11月 28 10:47 kafka_2.11-1.0.0 -rw-r--r-- 1 root root 60984831 11月 28 10:50 kafka-manager-1.3.2.1.zip drwxr-xr-x 12 1000 1000 4096 10月 8 11:44 zookeeper -rw-r--r-- 1 root root 11288 11月 28 10:49 zookeeper.out [ |
進入conf目錄，修改application.conf檔案
| [[email protected] conf]# pwd /home/software/kafka-manager-1.3.2.1/conf [[email protected] conf]# ll 總用量 24 -rw-r--r-- 1 root root 1277 2月 22 2017 application.conf -rw-r--r-- 1 root root 27 2月 22 2017 consumer.properties -rw-r--r-- 1 root root 2108 2月 22 2017 logback.xml -rw-r--r-- 1 root root 1367 2月 22 2017 logger.xml -rw-r--r-- 1 root root 7167 2月 22 2017 routes [[email protected] conf]# vim application.conf |
修改kafka-manager.zkhosts，我的是hadoop1、hadoop2和hadoop3，根據自己的節點自行修改
五、執行kafka-manager
注意：預設埠是9000
| [[email protected] bin]# pwd /home/software/kafka-manager-1.3.2.1/bin [[email protected] bin]# ./kafka-manager -Dconfig.file=../conf/application.conf |
啟動成功：
對應的程序：
也可以在啟動的時候，指定其他埠，比如這裡指定11111埠
啟動時最好使用絕對路徑
| [[email protected] bin]# pwd /home/software/kafka-manager-1.3.2.1/bin [[email protected] bin]# ./kafka-manager -Dconfig.file=/home/software/kafka-manager-1.3.2.1/conf/application.conf -Dhttp.port=11111 |
啟動成功：
六、配置叢集
點選Cluster->Add Cluster，輸入Cluster Name和Cluster Zookeeper Hosts，選擇最接近的kafka版本，其他可以自行配置，保持預設也可以，點選儲存
可能會提示有幾個引數的值應該大於等於2，根據提示調整到大於等於2的值
這時，可以在web頁面中看到新增的Cluster
點選進去，可以看到各種操作選項
點選Topic->List，可以看到之前建立的topic的相關資訊
大家可以根據自己的需求，試著在頁面上操作。
至此，kafka-manager安裝配置完成！