Hadoop監控

目前採用方案：Zabbix+Hue+Kafka Manager

1.Zabbix

Zabbix主要監控相關程序是否存活以及針對執行時間過長的任務進行報警，目前暫定為1個小時

原理：通過Hadoop提供的jmx介面獲取相關資料給zabbix

監控的專案：

程序ResourceManager,NameNode,HMaster 為0的時候觸發報警。

Hadoop叢集的節點數不為16的時候觸發報警。

Hadoop 正在 執行任務超過60分鐘的任務個數，不為0的時候觸發報警。

2.Hue

Hue是cloudera開源的一套針對Hadoop及相關元件的視覺化及監控工具

目前可以對hdfs,mapreduce,hive,hbase,zookeeper,oozie,spark等進行監控。

目前監控的專案：

hdfs中的資料

mapreduce相關任務情況

hbase中的資料

zookeeper的執行情況

3.Kafka Manager

Kafka Manager是雅虎開源的一套針對Kafka的監控工具。修復了一些Kafka開源監控因為Spark Streaming系統並沒有將消費的偏移量傳送到Zookeeper中導致監控失效的缺點。

目前監控的專案：

Kafka叢集執行情況及各個Topic的詳細引數

部分截圖如下：

重要問題彙總：

1. 啟動服務後若網頁顯示django錯誤：attempt to write a readonly database或 unable to open database file，

是因為目錄或檔案許可權不夠，導致sqlite無法訪問到資料庫檔案及臨時檔案。

修改命令如下：

chmod 777 hue-master/desktop/

chmod 766 hue-master/desktop/desktop.db

2.about頁顯示配置錯誤：Hive Editor – Failed to access Hive warehouse: /user/hive/warehouse

解決方案：找到原始碼中 /apps/beeswax/src/beeswax/conf.py的第138行，修改hive屬性 hive.metastore.warehouse.dir 到/hive/warehouse，

3.Hbase app報錯：

無法聯絡到 HBase Thrift  伺服器：Could not connect to localhost:9090

原因是1.沒有啟動HBase Thrift，2.沒有安裝Thrift。

Hbase預設Thrift只支援java連線，需要編譯安裝Thrift來支援python,php等語言。

解決方案：在Hadoop22上安裝Thrift後啟動Hbase thrift。