1. 程式人生 > >Kafka監控工具KafkaOffsetMonitor

Kafka監控工具KafkaOffsetMonitor

1.下載KafkaOffsetMonitor-assembly-0.2.0.jar 網盤地址:http://pan.baidu.com/s/1eQgYZOA  密碼:rd5y

2.在伺服器上建立kafka-offset-console目錄

3.把下載好的檔案上傳到剛剛建立的目錄下

4.建立監控程式執行的產生的日誌輸出目錄:/app/kafka-offset-console/logs

5.該jar檔案已經包含所有UI所需的資原始檔,用java命令執行該jar包即可,所以需要編寫一個啟動指令碼

kafka-offset-console-start.sh:

#!/bin/bash
java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk 192.168.1.100:2181,192.168.1.101:2181,192.168.1.102:2181 --port 8086 --refresh 10.seconds --retain 7.days 1>/app/kafka-offset-console/logs/stdout.log 2>/app/kafka-offset-console/logs/stderr.log &
6.授權執行許可權:chmod +x kafka-offset-console-start.sh
7.啟動KafkaOffsetMonitor監控程式:./kafka-offset-console-start.sh

8.截圖演示

topic:建立時topic名稱
partition:分割槽編號
offset:表示該parition已經消費了多少條message
logSize:表示該partition已經寫了多少條message
Lag:表示有多少條message沒有被消費。
Owner:表示消費者
Created:該partition建立時間
Last Seen:消費狀態重新整理最新時間



問題總結

1、當KafkaOffsetMonitor執行長時間之後,JVM記憶體可能不夠,導致在頁面上操作遲遲不能響應,需要調整JVM的大小。

相關推薦

Kafka監控工具KafkaOffsetMonitor配置及使用

一、KafkaOffsetMonitor簡述 KafkaOffsetMonitor是Kafka的一款客戶端消費監控工具,用來實時監控Kafka服務的Consumer以及它們所在的Partition中的Offset,我們可以瀏覽當前的消費者組,並且每個Topic的所有Part

Kafka系列之-Kafka監控工具KafkaOffsetMonitor配置及使用

  KafkaOffsetMonitor是一個可以用於監控Kafka的Topic及Consumer消費狀況的工具,其配置和使用特別的方便。源專案Github地址為:https://github.com/quantifind/KafkaOffsetMonitor。

Kafka監控工具KafkaOffsetMonitor

1.下載KafkaOffsetMonitor-assembly-0.2.0.jar 網盤地址:http://pan.baidu.com/s/1eQgYZOA  密碼:rd5y 2.在伺服器上建立kafka-offset-console目錄 3.把下載好的檔案上傳到剛剛建立的

基於web的kafka監控工具KafkaOffsetMonitor(內部js和css已經本地化)

KafkaOffsetMonitor是不錯的kafka監控的web工具,官方提供的版本需要線上下載js和css,其中angulajs的下載不了,在不聯網的內部環境下不能正常使用,所以本人將其所有到的js和css單獨下載整到當前這個jar包中,下載在內部環境可以直接使用,請移

apache kafka監控系列-KafkaOffsetMonitor

lan Kafka集群 解釋 water zabbix xxx order avi download apache kafka中國社區QQ群:162272557 概覽 近期kafka server消息服務上線了,基於jmx指標參數也寫到zabbix中了。

Kafka監控工具kafka-monitor v0.1簡要介紹

頁面 分享圖片 穩定 簡要介紹 markdown post down arc img Kafka Monitor為Kafka的可視化管理與監控工具,為Kafka的穩定運維提供高效、可靠、穩定的保障,這裏主要簡單介紹Kafka Monitor的相關功能與頁面的介紹;   Ka

kafka 監控工具

一 kafka某個offset的監控工具 (1).開源社群有相應的元件進行監控 a.下載 kafka offset監控 (地址連結)https://pan.baidu.com/s/1sj0YERV  (如果失效,可以上社群搜尋) b. 解壓後發現KafkaOffsetMoni

Kafka監控工具彙總

對於大資料叢集來說,監控功能是非常必要的,通過日誌判斷故障低效,我們需要完整的指標來幫我們管理Kafka叢集。本文討論Kafka的監控以及一些常用的第三方監控工具。 一、Kafka Monitoring 首先介紹kafka的監控原理,第三方工具也是通過這些來進行監控的,我們也可以自己去是實現監控,官網關於

Kafka開源監控工具-Kafka Eagle

集群 nag 獲取 strong 系統 優秀 監控工具 求次數 很多                   Kafka開源監控工具-Kafka Eagle                                            作者:尹正傑 版權聲明:原創作品,

Kafka三款監控工具比較(轉)

在之前的部落格中,介紹了Kafka Web Console這 個監控工具,在生產環境中使用,執行一段時間後,發現該工具會和Kafka生產者、消費者、ZooKeeper建立大量連線,從而導致網路阻塞。並且這個 Bug也在其他使用者中出現過,看來使用開源工具要慎重!該Bug暫未得到修復,不得已,只能研究下其他同類

docker-compose安裝kafka叢集及管理監控工具

編寫docker-compose檔案配置zk 和kafka叢集 #vim kafka.yml version: '2'services:    zoo1:        image: zooke

kafka系列三、Kafka三款監控工具比較

轉載原文:http://top.jobbole.com/31084/ 通過研究,發現主流的三種kafka監控程式分別為: Kafka Web Conslole  Kafka Manager KafkaOffsetMonitor 現在依次介紹以上三種工具: 一、Kafka W

kafka Manager監控工具的安裝與使用

  2018年02月25日 21:22:40 Running_Tiger 閱讀數:705 標籤: 監控工具叢集 更多 個人分類: 大資料開發 版權宣告:本文為博主原創文章,未經博主允許不得轉載。 https://blo

centos7 kafka安裝並安裝web介面監控工具

kafka自帶zookeeper,所以不需要下載zookeeper 1、下載 wget http://mirrors.shu.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz 2、安裝 tar -zxvf kafka_2.1

KafkaOffsetMonitor監控工具的安裝與引數說明(該方法避免了監控頁面內容無法顯示和Java客戶端消費者組無法監控等問題)

概述 一個小應用程式來監視kafka消費者的進度和它們的延遲的佇列。 KafkaOffsetMonitor是用來實時監控Kafka叢集中的consumer以及在佇列中的位置(偏移量)。 你可以檢視當前的消費者組,每個topic佇列的所有partition的消費情況。可以很快地知道

7、kafka監控-kafkaOffsetMonitor

轉載自:http://blog.csdn.net/gongxinju/article/details/73277395 1、kafkaOffsetmonitor簡述  KafkaOffsetMonitor是有由Kafka開源社群提供的一款Web管理介面,這個應用程式

Kafka三款監控工具比較

轉載原文:http://top.jobbole.com/31084/ 通過研究,發現主流的三種kafka監控程式分別為: Kafka Web Conslole Kafka ManagerKafkaOffsetMonitor 現在依次介紹以上三種工具: Kafka W

Linux終端下 dstat 監控工具

linux終端下 dstat 監控工具dstat 是一個可以取代vmstat,iostat,netstat和ifstat這些命令的多功能產品。dstat克服了這些命令的局限並增加了一些另外的功能,增加了監控項,也變得更靈活了。dstat可以很方便監控系統運行狀況並用於基準測試和排除故障。dstat可以讓你實時

linux下安裝nmon監控工具

註意 tor dha 壓縮 spa eas span project log 1.首先下載壓縮包 wget http://sourceforge.net/projects/nmon/files/download/nmon_x86_12a.zip/download

CentOS 7.x下部署和配置zabbix 3.2.x監控工具

centos zabbix 監控一.安裝zabbix服務端1.下載官方yum源:rpm -ivh http://repo.zabbix.com/zabbix/3.2/rhel/7/x86_64/zabbix-release-3.2-1.el7.noarch.rpm2.安裝zabbix服務端(會自動安裝http