部署mfsmaster高可用的原因：

在講原因之前，可以先看看mfs讀寫原理圖：

讀操作

寫操作

通過讀寫操作圖可以清楚的看到，mfsmaster是排程器，是mfs最核心的地方，如果mfsmaster掛了，整個mfs架構會掛掉，對此我們要對mfsmaster進行高可用冗餘操作

構建思路：利用pacemaker構建高可用平臺，利用iscis做共享儲存，mfschunkserver做儲存裝置。
有人可能要問為什麼keepalived，我想說的是就是keepalived是可以完全做的，但是keepalived不具備對服務的健康檢查，整個corosync驗證都是需要指令碼編寫，再通過vrrp_script模組進行呼叫，利用pacemaker比較方便。

實驗環境：

Linux環境：Red Hat Enterprise Linux Server release 6.5 (Santiago)

pacemaker版本：pacemaker-1.1.10-14.el6 #這個直接yum安裝,yum源要新增高可用base源

mfs版本：moose-master-3.0.100

server1：172.25.77.1 mfsmaster-master pacemaker iscsi客戶端
server2：172.25.77.2 mfschunkserver
server3：172.25.77.3 mfschunkserver
server4：172.25.77.4 mfsmaster-backup pacemaker iscsi客戶端
server5: 172.25.77.5 iscsi服務端

首先要搭建基礎的mfs分散式儲存架構，本篇不做闡述。可以檢視我之前配置的mfsmfs分散式檔案系統

1.首先配置 iscsi客戶端共享儲存：

在此實驗中，資料同步是最關鍵的。

配置iscsi服務端：
server5上：

yum list scsi* -y  #安裝scsi服務端

vim /etc/tgt/targets.conf  #進入配置檔案進行配置
 38 <target iqn.2018-03.com.example:server.target1>
 39     backing-store /dev/vdb   #新增一個新的儲存硬碟
 40     initiator-address 172.25
 
.77.1  #允許1和4作為客戶端
 41     initiator-address 172.25.77.4
 42 </target>

/etc/init.d/tgtd start #開啟服務

server1和server4：

server1和server4都執行的：
yum install iscsi* -y  #安裝iscsi客戶端
/etc/init.d/iscsi start  #開啟服務
iscsiadm -m discovery -t st -p 172.25.77.5  #發現服務端
iscsiadm -m node -l  #登入共享儲存組，fdisk -l會發現出現/dev/sda硬碟，這就是共享的磁碟。

只有server1執行的：
fdisk -cu /dev/sda    #硬碟分割槽
mkfs.ext4 /dev/sda1   #初始化檔案系統
mount /dev/sda1 /mnt/  #將初始化的盤，掛載到/mnt
cd /var/lib/mfs/  
cp * /mnt/             #這一步的目的，主要將原來mfs中的changelog全部同步出來。
umount /mnt/
cd /mnt/
mount /dev/sda1 /var/lib/mfs/  #將
cd /var/lib/
chown mfs.mfs mfs -R  #要給mfs目錄下都給mfs執行許可權

server1和server4執行：
/etc/init.d/iscsi start  #開啟iscsi客戶端

配置上述，共享儲存就算做好了。

2.配置 pacemaker+corosync：

首先要配置高可用的yum源：

[rhel6.5]
name=rhel6.5
baseurl=http://172.25.77.250/rhel6.5
gpgcheck=0

[HighAvailability]   #這也是系統自帶的，但是要新增。
name=HighAvailability
baseurl=http://172.25.77.250/rhel6.5/HighAvailability
gpgcheck=0

安裝pacemaker+corosync：

server1和server4：
yum install pacemaker corosync -y #corosync做心跳檢測的。
yum install crmsh-1.2.6-0.rc2.2.1.x86_64.rpm  pssh-2.3.1-2.1.x86_64.rpm -y #crm命令列
製作corosync的配置檔案：
cd /etc/corosync/
cp corosync.conf.example corosync.conf


vim /etc/corosync/corosync.conf
totem {
        version: 2
        secauth: off
        threads: 0
        interface {
                ringnumber: 0
                bindnetaddr: 172.25.77.0 #新增自己的網段地址
                mcastaddr: 226.94.1.1
                mcastport: 5405
                ttl: 1
        }
}

logging {
        fileline: off
        to_stderr: no
        to_logfile: yes
        to_syslog: yes
        logfile: /var/log/cluster/corosync.log
        debug: off
        timestamp: on
        logger_subsys {
                subsys: AMF
                debug: off
        }
}

amf {
        mode: disabled
}

service {
        name: pacemaker  #新增pacemaker服務
        ver: 0           #這個引數設定為0，就是在開啟corosync的時候，pacemaker一併開啟
}
scp corosync.conf 172.25.77.4:/etc/corosync/
/etc/init.d/corosync start   #開啟corosync和pacemaker

pacemaker利用crm命令列進行配置：

配置之前，要修改mfsmaster的啟動指令碼：
vim /etc/init.d/moosefs-master
 29 start () {
 30     echo -n $"Starting $prog: "
 31     $prog start >/dev/null 2>&1 && success || failure
 32     if [ $? -ne 0 ];then  #這裡做個判斷，如果錯誤執行下面操作
 33     $prog -a -i >/dev/null 2>&1 && success || failure  # automatically restore metadata from change logs
 34     fi
 35     RETVAL=$?
 36     echo
 37     [ $RETVAL -eq 0 ] && touch /var/lock/subsys/$prog
 38     return $RETVAL
 39 }
crm配置：
[email protected] corosync]# crm
crm(live)# configure
crm(live)configure# property stonith-enabled=false #先關掉fence裝置
crm(live)configure# commit
crm(live)configure# primitive vip ocf:heartbeat:IPaddr2 params ip=172.25.77.100 op monitor interval=10s #配置vip資訊。
crm(live)configure# commit
crm(live)configure# primitive mfsdata ocf:heartbeat:Filesystem params device=/dev/sda1 directory=/var/lib/mfs fstype=ext4 op monitor interval=10s #配置儲存資訊
crm(live)configure# primitive mfsmaster lsb:moosefs-master op monitor interval=10s #配置服務資訊
crm(live)configure# group mfsgroup vip mfsdata mfsmaster  #將其加進一個組內，在啟動的時候，會一窩端走。
crm(live)configure# commit

新增解析：
vim /etc/hosts
172.25.34.1     server1 
172.25.34.2     server2 
172.25.34.3     server3
172.25.34.4     server4
172.25.34.5     server5
172.25.34.6     server6 
172.25.34.100   mfsmaster

如果你害怕發現腦裂現象，可以新增fence功能。

測試：
crm node standby #在server4上執行這個操作，如果發現整個pacemaker組發現遷移動，就說明配置。
記住在測試完了後，要執行crm node online讓節點起來，防止全部down掉。

如果出現什麼問題，可以在下方留言，我看到會回覆！

OVER！！！