一、監控目標
    1.當系統可能或處於亞健康狀態時及時提醒，預防故障發生
    2.報警提示 a.簡訊方式 b.郵件


二、監控內容


2.1 機器監控
    Kafka伺服器指標
    CPU Load
    Disk IO
    Memory
    磁碟log.dirs目錄下資料檔案大小,要有定時清除策略


2.2 JVM監控
    主要監控Java的 GC time(垃圾回收時間)，JAVA的垃圾回收機制對效能的影響比較明顯


2.3 Kafka系統監控
1、Kafka總體監控
    zookeeper上/XXX/broker/ids目錄下節點數量
    leader 選舉頻率


2、Kafka Broker監控
    kafka叢集中Broker列表,broker執行狀況,包括node下線，活躍數量
    Broker是否提供服務
    資料流量  流入速度，流出速度 (message / byte)
    ISR 收縮頻率


3、Kafka Controller監控
    controller存活數目


4、Kafka Producer監控
    producer數量，排隊情況
    請求響應時間
    QPS/分鐘


5、Kafka Consumer監控
    consumer佇列中排隊請求數
    請求響應時間
    最近一分鐘平均每秒請求數


6、Topic監控
    資料量大小；
    offset
    資料流量 流入速度，流出速度 (message / byte)


3.監控指標
3.1 JVM監控
    a.通過JMX獲取GC time
    b.jvm full gc次數
    c.通過jmx監控kafka相關引數


3.2 kafka系統監控
監控資料獲取方式
    1、生存節點資訊可以從zookeeper獲取
    2、除生存節點 和 
    a、Broker是否提供服務。
    b、Topic資料量大小，
    c、Topic的offset 外，其他資料都可以通過JMX獲取

<script>window._bd_share_config={"common":{"bdSnsKey":{},"bdText":"","bdMini":"2","bdMiniList":false,"bdPic":"","bdStyle":"0","bdSize":"16"},"share":{}};with(document)0[(getElementsByTagName('head')[0]||body).appendChild(createElement('script')).src='http://bdimg.share.baidu.com/static/api/js/share.js?v=89860593.js?cdnversion='+~(-new Date()/36e5)];</script> 閱讀(460) | 評論(0) | 轉發(0) | 給主人留下些什麼吧！~~ 評論熱議