一、ganglia簡介

1.1 ganglia介紹

        ganglia是一款為HPC(高效能運算) 叢集設計的可擴充套件性 的分散式監控系統，它可以監視和顯示叢集中節點的各種狀態資訊，他由執行在各個節點上的gmond守護程序來採集 CPU、記憶體、磁碟利用率、I/O負載、網路流量情況等方面的資料。然後彙總到gmetad守護程序下，使用rrdtool儲存資料，然後將歷史資料以曲線方式通過PHP頁面呈現。

       ganglia自帶了很多監控項，詳細的比較詳細，等後面搭建成功後，可以從截圖中看出。ganglia相關的PDF書和資料還是較少的。

1.2  ganglia三大元件

gmond：

         gmond類似於傳統監控系統中的代理，需要安裝在每臺主機上，負責和作業系統互動以獲得需要關注的指標資料。

         gmond再內部採用模組化設計，採用基於C語言編寫、根據作業系統定製的外掛進行監控。gmond為指標提供了大部分標準外掛，而且可以增加更多的用C、C++或Python等語言編寫的外掛來支援新的指標。此外，內建的gmetric工具可以用來報告用任何語言編譯的自定義指標資料。

        gmond根據自身本地配置檔案定義的排程方案進行輪詢。監聽資料時使用簡單的監聽/通告協議，通過XDR在叢集內的主機之間共享。這些通告預設使用多播，而叢集是由共享同一多播地址的主機所構成的。當然gmond也可以使用單播，將資料都匯聚到同一臺中心節點。

       因為每臺gmond主機將指標資料多播到叢集內的其他主機，每臺gmond主機也記錄了叢集內其他主機的指標資料。遠端輪詢器通過預設的8649埠，向叢集內任意節點請求獲得該叢集XML格式的所有資料。

       如果伺服器主機過多，因為只要輪詢叢集中任意節點就能獲取所有叢集內其他主機的效能指標資料，所以我們可以將眾多的主機劃分到不同的組裡面，這樣一來，收集資料的工作量將得到大大的減輕。

gmetad：

        主要作用就是整合所有資訊。

       gmetad是一個簡單的輪詢器，對網路中每個叢集進行輪詢，並將每臺主機上返回的所有指標資料寫入各個叢集對應的輪詢資料庫。輪詢器對叢集的“輪詢”只需要開啟一個用於讀取的套接字，連線到目標gmond節點的8649埠即可，通過遠端非常容易實現。

      gmetad還有一些其他特性，如可以從其他的gmetad中輪詢資料，gmetad通過tcp埠8651偵聽遠端gmetad連線，並且向授權主機提供XML格式的網格狀態。從而構成一種聯合層次結構。gmetad具有互動式查詢功能，外部監控系統可以通過TCP 8652埠用簡單文字協議進行輪詢。gmetad也可以通過配置gmetad將指標資料轉送到諸如Graphite外部系統傳送資料。

      gmetad預設將指標資料直接寫入檔案系統上的RRD檔案，在有I/O限制的大型裝置中，rrdcached充當gmetad和RRD檔案之間的快取。

gweb：

      ganglia視覺化工具。顯示ganglia收集的主機各項指標。

      gweb允許在圖示中通過點選-拖拽改變時間週期，包含從不同文字格式（CSV,JSON等）中便捷提供資料的工具，顯示完整、使用的URL介面，使使用者可以通過預知的URL將感興趣的圖表嵌入其他程式。

      gweb是一種PHP程式，因為需要與輪詢器建立的RRD資料庫互動，所以gweb通常安裝在和gmetad相同的物理硬體上。

博文來自：www.51niux.com

二、Ganglia測試叢集rpm包方式環境部署

2.1 服務端的安裝

ganglia的官網：http://ganglia.info  下載連結：http://ganglia.info/?page_id=66

第一步：yum安裝相關軟體包組

# yum -y install apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel rpm-build glib2-devel dbus-devel freetype-devel fontconfig-devel gcc gcc-c++ expat-devel python-devel libXrender-devel

# yum install -y libart_lgpl-devel pcre-devel libtool

# yum install  -y rrdtool rrdtool-devel

第二步：安裝gmetad

先要製作一個最簡單的epel第三方yum安裝配置：

# cat /etc/yum.repos.d/epel.repo 

[epel]

name=CentOS-$releasever - Epel

baseurl=http://dl.fedoraproject.org/pub/epel/$releasever/$basearch/

gpgcheck=0

# yum install libconfuse libconfuse-devel -y

# cd /tools/

#tar zxf ganglia-3.7.2.tar.gz 

[root@localhost ganglia-3.7.2]# ls -l ganglia.spec  #因為有這個ganglia.spec，所以說是支援rpm安裝的

-rw-r--r--. 1 1000 1000 23494 7月   2 2015 ganglia.spec

# rpmbuild -tb  /tools/ganglia-3.7.2.tar.gz  #-tb表示從tar包中build二進位制檔案

#  cd /root/rpmbuild/RPMS/x86_64/ 

[root@localhost x86_64]# ll

總用量 824

-rw-r--r--. 1 root root 434360 1月   9 18:49 ganglia-debuginfo-3.7.2-1.x86_64.rpm

-rw-r--r--. 1 root root  49136 1月   9 18:49 ganglia-devel-3.7.2-1.x86_64.rpm

-rw-r--r--. 1 root root  56228 1月   9 18:49 ganglia-gmetad-3.7.2-1.x86_64.rpm

-rw-r--r--. 1 root root 119048 1月   9 18:49 ganglia-gmond-3.7.2-1.x86_64.rpm

-rw-r--r--. 1 root root 128120 1月   9 18:49 ganglia-gmond-modules-python-3.7.2-1.x86_64.rpm

-rw-r--r--. 1 root root  42756 1月   9 18:49 libganglia-3.7.2-1.x86_64.rpm

# rpm -ivh /root/rpmbuild/RPMS/x86_64/*

Preparing...                ########################################### [100%]

   1:libganglia             ########################################### [ 17%]

   2:ganglia-gmond          ########################################### [ 33%]

   3:ganglia-gmond-modules-p########################################### [ 50%]

   4:ganglia-devel          ########################################### [ 67%]

   5:ganglia-gmetad         ########################################### [ 83%]

   6:ganglia-debuginfo      ########################################### [100%]

這樣以rpm包安裝之後：

/etc/ganglia/   #為主配置檔案目錄

/var/lib/ganglia/rrds  #為rrds圖資訊儲存目錄

# rpm -ql ganglia-gmetad-3.7.2-1  #如：通過這個命令也可以看出，gmetad的rpm包相關的目錄

/etc/ganglia/gmetad.conf

/etc/init.d/gmetad

/etc/sysconfig/gmetad

/usr/sbin/gmetad

/usr/share/man/man1/gmetad.1.gz

/usr/share/man/man1/gmetad.py.1.gz

/var/lib/ganglia

/var/lib/ganglia/rrds

第三步：安裝gweb

# yum install httpd httpd-devel php -y

#  yum -y install rsync

# cd /tools/

# wget https://sourceforge.net/projects/ganglia/files/ganglia-web/3.7.2/ganglia-web-3.7.2.tar.gz

# tar zxf /tools/ganglia-web-3.7.2.tar.gz -C /var/www/html/

# cd /var/www/html/

# mv ganglia-web-3.7.2 ganglia

# cd /var/www/html/ganglia/

# make install  #執行這步，會建立相關的目錄

第四步：啟動相關服務並檢視效果

# /etc/init.d/gmond restart

# /etc/init.d/gmetad restart

# /etc/init.d/httpd restart

# netstat  -lntup  #檢視狀態

Active Internet connections (only servers)

Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name   

tcp        0      0 0.0.0.0:8649                0.0.0.0:*                   LISTEN      14639/gmond         #gmond預設是8649埠

tcp        0      0 0.0.0.0:8651                0.0.0.0:*                   LISTEN      14747/gmetad        #gmetad啟兩個埠

tcp        0      0 0.0.0.0:8652                0.0.0.0:*                   LISTEN      14747/gmetad        

tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      1351/sshd           

tcp        0      0 :::80                       :::*                        LISTEN      14472/httpd         

tcp        0      0 :::22                       :::*                        LISTEN      1351/sshd           

udp        0      0 239.2.11.71:8649            0.0.0.0:*                               14639/gmond   #預設是組播形式

訪問url：http://192.168.1.101/ganglia/ 

2.2 gmond 節點的安裝

#yum -y install apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel rpm-build glib2-devel dbus-devel freetype-devel fontconfig-devel gcc gcc-c++ expat-devel python-devel libXrender-devel
# yum install libconfuse libconfuse-devel -y

需要下面四個rpm包：傳送到其他客戶端上面，rpm -ivh *一下就好

ganglia-devel-3.7.2-1.x86_64.rpm

ganglia-gmond-3.7.2-1.x86_64.rpm

ganglia-gmond-modules-python-3.7.2-1.x86_64.rpm

libganglia-3.7.2-1.x86_64.rpm

# /etc/init.d/gmond  #啟動gmond服務便可，因為預設配置就是一個組播組，組播地址和埠都是統一的。

=========================分割線==========================================================================================

注一：

訪問url：http://192.168.1.101/ganglia/  ，如果沒做# cd /var/www/html/ganglia/ && make install的話會報下面的錯誤：

Fatal error:

Errors were detected in your configuration.

• Unable to create directory for overlay events file: /var/lib/ganglia-web/conf

• Unable to create overlay events file: /var/lib/ganglia-web/conf/events.json

• Unable to create directory for event color map file: /var/lib/ganglia-web/conf

• Unable to create event color map file: /var/lib/ganglia-web/conf/event_color.json

• DWOO compiled templates directory '/var/lib/ganglia-web/dwoo/compiled' is not writeable.
  Please adjust $conf['dwoo_compiled_dir'].

• DWOO cache directory '/var/lib/ganglia-web/dwoo/cache' is not writeable.
  Please adjust $conf['dwoo_cache_dir'].

• Views directory '/var/lib/ganglia-web/conf' is not readable.
  Please adjust $conf['views_dir'].

• Directory used to store configuration information '/var/lib/ganglia-web/conf' is not readable.
  Please adjust $conf['conf_dir'].

in /var/www/html/ganglia/eval_conf.php on line 126 

解決辦法：

# ln -s /var/lib/ganglia  /var/lib/ganglia-web

# mkdir -p /var/lib/ganglia-web/dwoo/{compiled,cache} -p

# chown -R apache:apache /var/lib/ganglia

注二：

There was an error collecting ganglia data (127.0.0.1:8652): fsockopen error: Connection refused

檢視message日誌：

 localhost /usr/sbin/gmetad[14747]: RRD_create: creating '/var/lib/ganglia/rrds/__SummaryInfo__/diskstat_vda_writes.rrd': Permission denied

 localhost /usr/sbin/gmetad[14747]: Unable to write meta data for metric diskstat_vda_writes to RRD

解決辦法：

# /etc/init.d/gmetad status  #檢視狀態gmetad是死狀態

gmetad 已死，但是 subsys 被鎖

# chown nobody:nobody /var/lib/ganglia/rrds -R

# /etc/init.d/gmetad restart

注三：

注意: Centos7的系列，用這種rpm安裝的方式是會報錯的：

# rpm -ivh *.rpm

錯誤：依賴檢測失敗：

libpcre.so.0()(64bit) 被 ganglia-gmond-3.7.2-1.x86_64 需要

libpcre.so.0()(64bit) 被 ganglia-gmond-modules-python-3.7.2-1.x86_64 需要

libpython2.6.so.1.0()(64bit) 被 ganglia-gmond-modules-python-3.7.2-1.x86_64 需要

libpcre.so.0()(64bit) 被 libganglia-3.7.2-1.x86_64 需要

原因：

從上圖中可以看出，要找對應的庫檔案沒有，如libpython2.6.so.1.0，這是Centos6版本里面才有的，Centos7預設是libpython2.7。

而我們下載的ganglia也是最新版了，所以系統如果有Centos7的版本了，就不能用這種rpm包省事的方法安裝了。就要換成編譯安裝的形式了，而我們線上一般也是採取編譯安裝的形式，因為編譯安裝可以指定對應的目錄和引數。

注四：

伺服器啟動，節點也載入了你會發現只有主機圖，但是主機圖裡面沒有曲線數值：圖的下方提示：No matching metrics detected

第一：安裝步驟是否正確，是否缺少相關的目錄

第二：檢視message日誌，是否目錄許可權錯誤，尤其是/var/lib/ganglia/rrds/是否有許可權報警。

第三：被監控的節點是不是開了防火牆之類的操作。

就以192.168.1.103舉例（Centos7的firewalld沒有關閉）：下面是關閉防火牆服務後的效果圖

=========================分割線===========================================================================

博文來自：www.51niux.com

三、Ganglia測試叢集編譯安裝方式環境部署

3.1 伺服器端的操作：

第一步：安裝gmetad

# yum -y install apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel rpm-build glib2-devel dbus-devel freetype-devel fontconfig-devel gcc gcc-c++ expat-devel python-devel libXrender-devel

# yum install -y libart_lgpl-devel pcre-devel libtool

# yum install  -y rrdtool rrdtool-devel

# mkdir /tools

# cd  /tools/

# tar zxf confuse-2.7.tar.gz 

# cd confuse-2.7

# ./configure  --prefix=/usr/local/ganglia-tools/confuse CFLAGS=-fPIC --disable-nls --libdir=/usr/local/ganglia-tools/confuse/lib64

# make && make install

# cd /tools/

# tar zxf ganglia-3.7.2.tar.gz

# cd ganglia-3.7.2

# ./configure --prefix=/usr/local/ganglia --enable-gexec --enable-status --with-gmetad --with-libconfuse=/usr/local/ganglia-tools/confuse  #enable-gexec是gmond節點

# make && make install

# cp gmetad/gmetad.init /etc/init.d/gmetad

# ln -s /usr/local/ganglia/sbin/gmetad /usr/sbin/gmetad

第二步：安裝gweb

參照上面第一種安裝方式便可以，這裡沒什麼變化。

# chown apache:apache -R /var/lib/ganglia-web/

第三步：修改配置

1. 修改啟動指令碼

# vi /etc/init.d/gmetad

GMETAD=/usr/sbin/gmetad  #這句話可以自行更改gmetad的命令，當然也能向我們前面做了軟連線

start() {

    [ -f /usr/local/ganglia/etc/gmetad.conf  ] || exit 6  #這裡將配置檔案改成現在的位置，不然啟動沒反應

2. 建立rrds目錄

# mkdir /var/lib/ganglia/rrds -p

# chown -R nobody:nobody  /var/lib/ganglia/rrds

3. 修改gmetad配置檔案

因為我們這裡就先讓它當一個單純的gweb節點和gmetad節點，不給其啟動gmond服務，假設它沒有再哪個多播叢集裡。

# vi /usr/local/ganglia/etc/gmetad.conf 

data_source "my cluster" 192.168.1.102:8649   #這也是我們以後經常修改的地方，""裡面是組名稱  後面是去哪個IP的那個埠去採集gmond資料

第四步：啟動服務

# /etc/init.d/gmetad restart

3.2 客戶端的操作：

# yum -y install apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel rpm-build glib2-devel dbus-devel freetype-devel fontconfig-devel gcc gcc-c++ expat-devel python-devel libXrender-devel

# yum install -y libart_lgpl-devel pcre-devel libtool

# mkdir /tools

# cd  /tools/

# tar zxf confuse-2.7.tar.gz 

# cd confuse-2.7

# ./configure  --prefix=/usr/local/ganglia-tools/confuse CFLAGS=-fPIC --disable-nls --libdir=/usr/local/ganglia-tools/confuse/lib64

# make && make install

# cd /tools/

# tar zxf ganglia-3.7.2.tar.gz

# cd ganglia-3.7.2

# ./configure --prefix=/usr/local/ganglia --enable-gexec --enable-status  --with-libconfuse=/usr/local/ganglia-tools/confuse  #enable-gexec是gmond節點

# make && make install

# /usr/local/ganglia/sbin/gmond -t >/usr/local/ganglia/etc/gmond.conf  #生成gmond配置檔案

# cp /tools/ganglia-3.7.2/gmond/gmond.init /etc/init.d/gmond

# /etc/init.d/gmond restart

注：

測試結果是OK的，這裡就截圖了。線上環境，我們一般會建立一個監控用於，專門用來存放相關的監控程式，所以你看我的編譯過程都指定了安裝位置，但是一般不會放到/usr/local下面，會都指向安裝到我們的監控使用者或者監控目錄下面。另外客戶端有一個編譯安裝成功了，可以直接把生成的目錄傳送到其他的客戶端上面，一樣也可以使用的，不需要每臺機器都進行一次編譯過程。當然yum安裝軟體包組還是需要的。

四、ganglia目錄及配置檔案詳解

4.1 gmond節點的目錄結構

# tree -L 3

├── bin

│   ├── ganglia-config

│   ├── gmetric

│   └── gstat

├── etc

│   ├── conf.d

│   │   └── modpython.conf

│   └── gmond.conf

├── include

│   ├── ganglia_gexec.h

│   ├── ganglia.h

│   ├── gm_file.h

│   ├── gm_metric.h

│   ├── gm_mmn.h

│   ├── gm_msg.h

│   ├── gm_protocol.h

│   └── gm_value.h

├── lib64

│   ├── ganglia

│   │   ├── modcpu.so

│   │   ├── moddisk.so

│   │   ├── modload.so

│   │   ├── modmem.so

│   │   ├── modmulticpu.so

│   │   ├── modnet.so

│   │   ├── modproc.so

│   │   ├── modpython.so

│   │   └── modsys.so

│   ├── libganglia.a

│   ├── libganglia.la

│   ├── libganglia.so -> libganglia.so.0.0.0

│   ├── libganglia.so.0 -> libganglia.so.0.0.0

│   └── libganglia.so.0.0.0

├── sbin

│   └── gmond

└── share

    └── man

        ├── man1

        └── man5

4.2 gmond配置檔案詳解

# /usr/local/ganglia/sbin/gmond -t  #檢視gmond的預設配置

配置檔案由{}括起來的幾個section組成。section名和屬性不區分大小寫。

globals {  #section:globals. globals在配置中只出現一次。

  daemonize = yes  #當值為true（yes|true|on）時，gmond將在後臺分散執行。設定為false由守護程序管理器執行gmond。

  setuid = yes          #這是gmond將user屬性指定的特定使用者的UID作為有效UID；值為false時，gmond將不會改變其有效使用者。

  user = nobody     #使用者名稱

  debug_level = 0  #值為0，gmond正常執行，大於0，gmond前臺執行並輸出除錯資訊。debug_level值越大，輸出越詳細。

  max_udp_msg_len = 1472  #gmond傳送包所能包含的最大長度。一般不改變此值。

  mute = no    #設定為no，gmond就是可以傳送資料。設定為yes，就是單收，但是仍然會相應諸如gmetad的外部輪詢器。

  deaf = no    #當值為true時，gmond將不能接收資料。設定no就是可以接收資料。

  allow_extra_data = yes  #當值為false時，gmond將不會發送XML的EXTRA_ELEMENT和EXTRA_DATA部分。這是是傳送。

  host_dmax = 86400   #設定為0，gmond不會從佇列中刪除不在報告的主機。這裡的意思是在86400秒內，接收不到某臺主機的資料，gmond將刪除。

  host_tmax = 20    #當gmond等到20秒*4的時間內，接收不到某臺主機的任何訊息，gmond就認為該主機已經崩潰。

  cleanup_threshold = 300   #gmond清除過期資料的最小時間間隔為300秒。

  gexec = no   #當值為true時，gmond將允許主機執行gexec任務。這種方式需要允許gexecd並安裝合適的驗證碼。

  send_metadata_interval = 0   #這是設定gmond兩次傳送元資料包的時間間隔。單位是秒。預設設定為0，表示gmond只有在啟動和收集到其他遠端允許的gmond節點請求時才會傳送元資料包。但是如果單播環境下必須設定重發間隔。

 # override_hostname = "mywebserver.domain.com"” #這裡是gweb介面要顯示的名稱，可以是IP或者字串,預設是註釋狀態。預設情況下，gmond在顯示主機名時將使用反向DNS解析。

}

=================================特別注意：================================

如果你是Centos7的環境，如果你設定了 override_hostname的話，你會發現的你message日誌裡面會狂刷一條日誌：

# tail -f /var/log/messages

Jan 13 16:23:14 localhost /usr/sbin/gmond[1360]: Incorrect format for spoof argument. exiting.#012

Jan 13 16:23:14 localhost /usr/sbin/gmond[1360]: Incorrect format for spoof argument. exiting.#012

Jan 13 16:23:14 localhost /usr/sbin/gmond[1360]: Incorrect format for spoof argument. exiting.#012

Jan 13 16:23:14 localhost /usr/sbin/gmond[1360]: Incorrect format for spoof argument. exiting.#012

Jan 13 16:23:14 localhost /usr/sbin/gmond[1360]: Incorrect format for spoof argument. exiting.#012

解決辦法：

就是Centos7系列版本里面不要加override_hostname這一項。

多說兩句：

如果你是單播環境，單播的接收節點最好不要在/etc/hosts定義類似於：192.168.1.103  test2 和最好不要再加一個127.0.0.1的本地通過，不然gweb上面會顯示兩個圖形，一個是localhost(因為預設127.0.0.1對應的是localhost)，一個是test2.

=================================特別注意：================================

相關推薦