1. 程式人生 > >kafka系列三、Kafka三款監控工具比較

kafka系列三、Kafka三款監控工具比較

轉載原文:http://top.jobbole.com/31084/

通過研究,發現主流的三種kafka監控程式分別為:

  • Kafka Web Conslole 
  • Kafka Manager
  • KafkaOffsetMonitor

現在依次介紹以上三種工具:

一、Kafka Web Conslole 

使用Kafka Web Console,可以監控:

  • Brokers列表

  • Kafka 叢集中 Topic列表,及對應的Partition、LogSiz e等資訊

  • 點選Topic,可以瀏覽對應的Consumer Groups、Offset、Lag等資訊

  • 生產和消費流量圖、訊息預覽…

程式執行後,會定時去讀取kafka叢集分割槽的日誌長度,讀取完畢後,連線沒有正常釋放,一段時間後產生大量的socket連線,導致網路堵塞。

二、Kafka Manager

雅虎開源的Kafka叢集管理工具:

  • 管理幾個不同的叢集

  • 監控叢集的狀態(topics, brokers, 副本分佈, 分割槽分佈)

  • 產生分割槽分配(Generate partition assignments)基於叢集的當前狀態

  • 重新分配分割槽

 

三、KafkaOffsetMonitor

  • KafkaOffsetMonitor可以實時監控:

  • Kafka叢集狀態

  • Topic、Consumer Group列表

  • 圖形化展示topic和consumer之間的關係

  • 圖形化展示consumer的Offset、Lag等資訊

四、總結

通過使用,個人總結以上三種監控程式的優缺點:

Kafka Web Console:監控功能較為全面,可以預覽訊息,監控Offset、Lag等資訊,但存在bug,不建議在生產環境中使用。

Kafka Manager:偏向Kafka叢集管理,若操作不當,容易導致叢集出現故障。對Kafka實時生產和消費訊息是通過JMX實現的。沒有記錄Offset、Lag等資訊。

KafkaOffsetMonitor:程式一個jar包的形式執行,部署較為方便。只有監控功能,使用起來也較為安全。

若只需要監控功能,推薦使用KafkaOffsetMonito,若偏重Kafka叢集管理,推薦使用Kafka Manager。

因為都是開源程式,穩定性欠缺。故需先了解清楚目前已存在哪些Bug,多測試一下,避免出現類似於Kafka Web Console的問題。