1. 程式人生 > >flume之叢集監控 Ganglia 部署配置

flume之叢集監控 Ganglia 部署配置

flume支援http,ganglia,custom監控模式

http很簡單,就是開放一個埠可以通過http請求拿取當前agent的各項資料

ganglia是一個開源的叢集監控解決方案,自帶統計,web展現

custom就是自定義方案了。

當然為了圖省事,少弄些web畫圖之類用ganglia就可以了

這裡給下最後的效果圖:



效果就是這麼醜醜的

但是夠用了

廢話不多說,正式進入主題

ganglia分為三部分

服務端,客戶端,web端

gmetad,gmond,ganglia-web

gmond是一個終端採集agent,負責收集機器資訊,及flume傳給他的資訊

gmetad就負責輪訓配置的各個gmond機器,獲取資料

ganglia-web是php實現的web站點

安裝上最簡單的就是yum install,apt-get了

自己公司用的阿里雲所以就一下ok了

伺服器安裝:
    安裝apache php 
    yum install httpd php
    安裝gmetad
    yum install -y rrdtool perl-rrdtool rrdtool-devel #rddtool安裝
    yum -y install apr-devel
    yum install ganglia-gmetad -y
    yum install ganglia-web


客戶端安裝
    yum install -y ganglia-gmond

客戶端安裝完,gmond的配置檔案在/etc/ganglia/gmond.conf

裡面要改的配置就是source名稱,要跟gmetad一致

然後用組網模式或者單點模式,組網模式沒有試過,

用的單點,配置本機的ip。

服務端安裝,gmetad在/etc/ganglia/gmetad.conf上

主要修改data_source把之前裝的gmond機器都寫上

name跟前面的對應,一個gmond對應一條,名字不能

全部重複(ganglia顯示格式grid-》source-》node)

這裡還涉及到flume的配置:

-Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=127.0.0.1:8649

為了部署方便我使用了127.0.0.1的本機地址模式

這時候在ganglia上看就是localhost,如果使用具體的ip地址就會是你的網路名

都用localhost的話source就不能一樣了。不然衝突。

當然也可以把一些節點用一個gmond來收集,這個自己理解是可以

但是沒有嘗試。

就這麼簡單,so easy,自己但是是摸索了快一天

直接的原始碼安裝遇到了一些問題,依賴的外掛太多

一定要制定對的路勁才行。

rrds路勁一定要對,

php伺服器對應的幾個目錄要有許可權讀寫。