應用redhat cluster suit，實現高可用（HA）叢集。

注：本文在第一次成文時少寫了幾個關鍵步驟，已新增：2.1.4A, 2.3 4

虛擬機器環境如下：

[[email protected] ~]# uname -a
Linux stu121.example.com 2.6.18-238.12.1.el5 #1 SMP Tue May 31 13:23:01 EDT 2011 i686 i686 i386 GNU/Linux

0 規劃

我們用red hat cluster suit在3個centos5u4虛擬機器上建立一個高可用叢集（練習，練習哈）；

叢集中有3個節點： 192.168.0.121（node1), 192.168.0.122(node2), 192.168.0.123(fence,虛擬機器上沒有fence裝置，所以用一個節點來模擬)；

叢集名：cluster_ha;

faildomain名：fd_1;

服務名： web_s(實際啟動的服務就是apache－httpd）

服務下有2個資源，fip（浮動ip）資源：192.168.0.120， script資源：httpd自帶的啟動指令碼/etc/init.d/httpd;

1. 準備工作

1.1 安裝

1.1.1 因為本地沒有fence裝置，用一個節點模擬fence，所以要安裝GNBD

[[email protected] ~]# yum install gnbd

1.1.2 安裝 red hat linux cluster suit
[[email protected] ~]# yum groupinstall Clustering

安裝好後，測試一下：

[

[email protected] ~]# system-config-cluster

如果出現下面的圖形介面，表示安裝成功了：

1.1.3 如果沒有安裝apache

yum install httpd

1.2 一些輔助配置

1.2.1 配置節點名

在node1上

vim /etc/hosts

在檔案最後加上3行：

192.168.0.121 node1.test.com node1 
192.168.0.122 node2.test.com node2 
192.168.0.123 fence.test.com fence 

1.2.2 生成3個節點互訪用的公鑰私鑰

在node1上

ssh-keygen -t dsa
 

一路回車，然後

ssh-copy-id -i .ssh/id_dsa.pub [email protected]

1.2.3 讓node2和fence和node1保持一致

在node1上 執行：

scp -r ~/.ssh/ [email protected]:/root/
scp -r ~/.ssh/ [email protected]:/root/

scp /etc/hosts [email protected]:/etc/
scp /etc/hosts [email protected]:/etc/

#然後就可以用ssh [email protected]/node2/fence相互登入了，不需要密碼

2 配置叢集

2.1 配置HA cluster（現在node1上配置）

2.1.1 執行

system-config-cluster 

會出現上面那個圖，然後選擇"create new configuration"

2.1.2 配置cluster

2.1.3 新增節點 "Cluster Nodes -> Add a Cluster Node",node1,node2,fence的操作都相同

2.1.4 新增fence裝置 "Fence Devices->Add a Fence Device"，主義fence的name不能和fenfce節點的名字相同

2.1.4A 為每個節點，包括fence節點，配置fence-level和fence，點選"Manage Fencing For This Node"，然後點選”Add a New Fence Level" 來增加一個fence-level，然後選擇這個fence-level,點選“Add A new Fence to this Level"，截圖如下：

2.1.5 新增fail over domain"Failover Domains->Create a Failover Domain" 按規劃取名fd_1，它的配置資訊如下

2.1.6 新增資源

新增fip（192.168.0.120）“Resources->Create a Resource->IP Address"

新增script “Resources->Create a Resource->Script"

2.1.7 新增服務“Services->Create a Service"，按規劃服務名為web_s；並新增資源，點選"Add a Shared Resource to this service"(哈，這個service為什麼不大寫呢？語法錯誤？呵呵)，先新增ip資源，然後選中ip資源新增httpd資源。結果如下

2.2 複製cluster.conf 到node2 和 fence

scp /etc/cluster/cluster.conf  [email protected]:/etc/cluster/

scp /etc/cluster/cluster.conf  [email protected]fence:/etc/cluster/

2.3 3個節點一起啟動cman，注意要在selinux的配置上保持一致，全開（開啟對應的埠），或者關閉iptables (servcie iptables stop)

在3個節點同時執行

[[email protected]*** ~]# service cman start
Starting cluster: 
   Loading modules... done
   Mounting configfs... done
   Starting ccsd... done
   Starting cman... done
   Starting daemons... done
   Starting fencing... done
                                                           [確定]

ok了！ 然後可以在3個節點執行

[[email protected] ~]# service rgmanager start
啟動 Cluster Service Manager：                             [確定]

2.3 4 在fence節點上啟動gnbd_serv

[[email protected] ~]#gnbd_serv

2.4 檢查 在fence節點上執行

[[email protected] ~]# clustat
Cluster Status for cluster_ha @ Sat Jul 23 22:48:27 2011
Member Status: Quorate

 Member Name                                                     ID   Status
 ------ ----                                                     ---- ------
 node1                                                               1 Online, rgmanager
 node2                                                               2 Online, rgmanager
 fence                                                               3 Online, Local, rgmanager

 Service Name                                                  Owner (Last)                                                  State         
 ------- ----                                                  ----- ------                                                  -----         
 service:web_s                                                 node1                                                         started   

這時，是node1提供服務

2.5 現在我們就可以訪問fip了

http://192.168.0.120/ 你會看到apache首頁，如果node1和node2的首頁不一樣，你會明確看到node1的頁面

注意，這個時候node2上的httpd沒有被自動起來！

2.6 手工停止node1上httpd，驗證failover：在node1上執行service httpd stop，然後還是在fence節點上刷clustat，過幾秒鐘會看到

 Member Name                                                     ID   Status
 ------ ----                                                     ---- ------
 node1                                                               1 Online, rgmanager
 node2                                                               2 Online, rgmanager
 fence                                                               3 Online, Local, rgmanager

 Service Name                                                  Owner (Last)                                                  State         
 ------- ----                                                  ----- ------                                                  -----         
 service:web_s                                                 node2                                                         started 

注意，因為node1是httpd被stop了，節點依然是活著的，所以上面node1的status還是Online狀態，如果在node1上執行ifdown eth0(關閉node1上的工作網絡卡)，那麼node1就成為Offline狀態。

3 其他

上述只是練習，實際生產環境是用硬體fence裝置的－－－在選fence裝置型別時要選APC。

其他，增刪節點，就相對容易了。