一·RHCS

1.RHCS是什麼

RHCS是Red Hat Cluster Suite的縮寫，也就是紅帽子叢集套件，RHCS是一個能夠提供高可用性、高可靠性、負載均衡、儲存共享且經濟廉價的叢集工具集合，它將集群系統中三大叢集架構融合一體，可以給web應用、資料庫應用等提供安全、穩定的執行環境。更確切的說，RHCS是一個功能完備的叢集應用解決方案，它從應用的前端訪問到後端的資料儲存都提供了一個行之有效的叢集架構實現，通過RHCS提供的這種解決方案，不但能保證前端應用持久、穩定的提供服務，同時也保證了後端資料儲存的安全。
RHCS提供了集群系統中三種叢集構架，分別是高可用性叢集、負載均衡叢集、儲存叢集。

2.RHCS提供的三個核心功能

高可用叢集是RHCS的核心功能。當應用程式出現故障，或者系統硬體、網路出現故障時，應用可以通過RHCS提供的高可用性服務管理元件自動、快速從一個節點切換到另一個節點，節點故障轉移功能對客戶端來說是透明的，從而保證應用持續、不間斷的對外提供服務，這就是RHCS高可用叢集實現的功能。
RHCS通過LVS（Linux Virtual Server）來提供負載均衡叢集，而LVS是一個開源的、功能強大的基於IP的負載均衡技術，LVS由負載排程器和服務訪問節點組成，通過LVS的負載排程功能，可以將客戶端請求平均的分配到各個服務節點，同時，還可以定義多種負載分配策略，當一個請求進來時，集群系統根據排程演算法來判斷應該將請求分配到哪個服務節點，然後，由分配到的節點響應客戶端請求，同時，LVS還提供了服務節點故障轉移功能，也就是當某個服務節點不能提供服務時，LVS會自動遮蔽這個故障節點，接著將失敗節點從叢集中剔除，同時將新來此節點的請求平滑的轉移到其它正常節點上來；而當此故障節點恢復正常後，LVS又會自動將此節點加入到叢集中去。而這一系列切換動作，對使用者來說，都是透明的，通過故障轉移功能，保證了服務的不間斷、穩定執行。
RHCS通過GFS檔案系統來提供儲存叢集功能，GFS是Global File System的縮寫，它允許多個服務同時去讀寫一個單一的共享檔案系統，儲存叢集通過將共享資料放到一個共享檔案系統中從而消除了在應用程式間同步資料的麻煩，GFS是一個分散式檔案系統，它通過鎖管理機制，來協調和管理多個服務節點對同一個檔案系統的讀寫操作。

3.RHCS叢集的組成
(1)叢集構架管理器

這是RHCS叢集的一個基礎套件，提供一個叢集的基本功能，使各個節點組成叢集在一起工作，具體包含分散式叢集管理器（CMAN）、成員關係管理、鎖管理（DLM）、配置檔案管理（CCS）、柵裝置（FENCE）

(2)高可用服務管理器

提供節點服務監控和服務故障轉移功能，當一個節點服務出現故障時，將服務轉移到另一個健康節點

二·建立叢集

實驗環境：
服務端：server1 安裝ricci（叢集節點） 和luci（叢集管理介面）
客戶端：server4 安裝ricci（叢集節點）

1.需要建立環境

在server1中：

[root@server1 ~]# vim  /etc/yum.repos.d/rhel-source.repo  ##配置高可用yum源
[root@server1 ~]# yum cleana all
[root@server1 ~]# yum repolist
[root@server1 ~]# scp /etc/yum.repos.d/rhel-source.repo [email protected]:/etc/yum.repos.d/rhel-source.repo 
[root@server1 ~]# yum install ricci luci -y   ##安裝叢集節點和管理介面
[root@server1 ~]# /etc/init.d/ricci  start  ##開啟服務
[root@server1 ~]# /etc/init.d/luci  start
[root@server1 ~]# chkconfig luci on
[root@server1 ~]# chkconfig ricci on
[root@server1 ~]# passwd ricci    ##設定密碼（至少需要6個字元）

yum源：

在server4中：

[root@server4 ~]# yum install ricci -y   ##安裝
[root@server4 ~]# /etc/init.d/ricci  start  ##開啟服務
[root@server4 ~]# chkconfig ricci on
[root@server4 ~]# passwd ricci    ##設定密碼

在物理機上新增解析：

2.建立叢集

3.高可用叢集負載均衡

（1）在server1中：

[root@server1 ~]# cd /etc/init.d/
[root@server1 init.d]# ls
[root@server1 init.d]# cd /usr/local/
[root@server1 local]# scp -r nginx/  [email protected]:/usr/local/
[root@server1 local]# cd /etc/init.d/
[root@server1 init.d]# vim nginx   ##從物理機上傳nginx檔案到/etc/init.d/下
[root@server1 init.d]# nginx   ##開啟
[root@server1 init.d]# nginx -s stop   ##停止
[root@server1 init.d]# chmod +x nginx   ##可執行許可權
[root@server1 init.d]# ps ax   ##檢視程序
[root@server1 init.d]# /etc/init.d/nginx stop   ##關閉
[root@server1 init.d]# scp nginx [email protected]:/etc/init.d/
[root@server1 ~]# clustat   ##檢視叢集狀態

（2）在server4中：

[root@server4 ~]# cd /usr/local/
[root@server4 local]# cd nginx/
[root@server4 nginx]# cd logs/
[root@server4 logs]# ll
[root@server4 logs]# ln -s /usr/local/nginx/sbin/nginx /sbin/   ##製作軟連結
[root@server4 logs]# useradd -M -d /usr/local/nginx/ nginx  
[root@server4 logs]# id nginx

（3）返回管理叢集介面：

（4）需要在物理機加解析

（5）網頁測試

開啟server2和server3的httpd後再次測試：

三·Fence

通過柵裝置可以從叢集共享儲存中斷開一個節點，切斷I/O以保證資料的完整性。當CMAN確定一個節點失敗後，它在叢集結構中通告這個失敗的節點，fenced程序將失敗的節點隔離，以保證失敗節點不破壞共享資料。它可以避免因出現不可預知的情況而造成的“腦裂”（split-brain）現象。“腦裂”是指當兩個節點之間的心跳線中斷時，兩臺主機都無法獲取對方的資訊，此時兩臺主機都認為自己是主節點，於是對叢集資源（共享儲存，公共IP地址）進行爭用，搶奪。
Fence的工作原理是：當意外原因導致主機異常或宕機時，備用機會首先呼叫fence裝置，然後通過fence裝置將異常的主機重啟或從網路上隔離，釋放異常主機佔據的資源，當隔離操作成功後，返回資訊給備用機，備用機在接到資訊後，開始接管主機的服務和資源。

RHCS的Fence裝置可以分為兩種：

內部Fence和外部Fence。
內部fence有IBM RSAII卡，HP的ILO卡，以及IPMI裝置等；外部FENCE裝置有UPS，SAN switch ，Network switch等。

當節點A上的柵過程發現C節點失效時，它通過柵代理通知光纖通道交換機將C節點隔離，從而釋放佔用的共享儲存。
當A上的柵過程發現C節點失效時，它通過柵代理直接對伺服器做電源power on/off，而不是去執行作業系統的開關機指令。

fence的作用：斷電重啟
安裝包：

fence-virtd-multicast.x86_64
fence-virtd-libvirt.x86_64
fence-virtd-serial.x86_64

1.下載安裝包以及配置

[root@foundation71 kiosk]# yum install fence-virtd-multicast.x86_64 
[root@foundation71 kiosk]# yum install fence-virtd-libvirt.x86_64 
[root@foundation71 kiosk]# yum install fence-virtd-serial.x86_64
[root@foundation41 kiosk]# fence_virtd -c
[root@foundation71 Desktop]# systemctl restart fence_virtd.service 
[root@foundation71 Desktop]# netstat -anulp |grep :1229  ##檢視埠
[root@foundation71 Desktop]# cd /etc/cluster/   ##由於沒有目錄，需要建立
bash: cd: /etc/cluster/: No such file or directory
[root@foundation71 Desktop]# mkdir /etc/cluster/
[root@foundation71 Desktop]# cd /etc/cluster/
[root@foundation71 cluster]# ls
[root@foundation71 cluster]# dd if=/dev/urandom of=fance_xvm.key bs=128   ##擷取
[root@foundation71 cluster]# systemctl restart fence_virtd.service  ##重啟
[root@foundation71 cluster]# scp fance_xvm.key [email protected]:/etc/cluster/ 
[root@foundation71 cluster]# scp fance_xvm.key [email protected]:/etc/cluster/

初始化

2.進入管理介面

同樣的步驟要新增節點vmfenve2
新增後的介面

測試：

[root@server4 ~]# clustat  ##檢視狀態
root@server4 init.d]# fence_node server4   ##斷開server4
會發現自動重啟

[root@server4 ~]# echo c > /proc/sysrq-trigger    ##核心崩潰，會自動重啟