1. 登入root使用者

sudo su root

2. 設定主機名

修改hostname檔案，以及hosts檔案新增如下設定，使叢集中的主機可以通過主機名進行訪問：

10.0.101.2 gfs1

10.0.101.191 gfs2

10.0.101.213 gfs3

10.0.101.61 gfs_cli

10.20.32.19 VM_32_19_centos

10.20.52.19 VM_52_19_centos

10.10.64.27 VM_64_27_centos

3. 檢視防火牆狀態

systemctl status firewalld

* firewalld.service - firewalld - dynamic firewall daemon

   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)

   Active: inactive (dead)

處於關閉狀態，不做修改。

4. 下載安裝包

選擇glusterfs3.8版本，下載

5. 檢視linux系統是否存在glusterfs相關外掛

rpm –qa | grep gluster

如果返回為空，則無需任何操作，如果返回相關已經安裝的rpm包，先進行解除安裝，然後進行後續安裝

6. 安裝glusterfs3.8

yum install nfs-utils

安裝指令碼：

注意：根據環境作適當調整。

7. 啟動glusterd服務

檢視當前glusterd服務啟動狀態：

8. 配置gluster信任池

在gfs1上執行：

檢查加入可信任儲存池中的伺服器狀態

 命令：gluster peer status

9. 建立兩副本模式

1）、建立兩副本

刪除dfs-vm-2

Es生產環境建立snapshot

10. 建立三副本模式

1）、建立三副本

檢視建立的卷的資訊

 命令：gluster volume info

Volume Name: gfs_vm

Type: Replicate

Volume ID: b89cbb0a-a72c-4069-8abc-c68d2394dcbe

Status: Created

Snapshot Count: 0

Number of Bricks: 1 x 3 = 3

Transport-type: tcp

Bricks:

Brick1: gfs1:/data/brick

Brick2: gfs2:/data/brick

Brick3: gfs3:/data/brick

Options Reconfigured:

transport.address-family: inet

performance.readdir-ahead: on

nfs.disable: on

 啟動volumes

volume start: gfs_vm: success

11. 配置客戶端

1.軟體準備：

2.安裝rpm包指令碼：

3.掛載gluster叢集設定：

4.使用df命令檢視掛載結果：

可以檢視到gfs1:/gfs_vm 已經成功掛載到/gfsdata中去了。

5.測試

向/gfsdata寫入檔案

vim test

輸入：hello glusterfs

在叢集gfs1 gfs2 gfs3的/data/brick目錄下均可以看到該檔案存在。

12. 超時時間設定

當glusterfs叢集中某臺伺服器斷線，判斷超時時間，該時間的設定關係到glusterfs掛載客戶端訪問速度。設定命令如下：

腦裂測試

1. 高可用性測試

1）、情景一：glusterfs叢集存在一臺主機存活

gfs2、gfs3斷網情況下，glusterfs叢集只存在一臺主機：

此時可以保證正常的讀取操作，無法寫入檔案。此時檔案均處於read-only狀態。

這個是glusterfs預設機制導致的，當叢集中的機器少於50%時，客戶端便無法向叢集中寫入檔案，此時檔案處於只讀狀態。

2）、情景二：glusterfs叢集存在兩臺主機存活

僅gfs3斷網情況下：

echo “hello glusterfs” >> hello

在伺服器gfs1、gfs2均可以看到該檔案。

開啟gfs3網路設定，檔案亦同步到gfs3伺服器，無腦裂現象產生。

3）、在執行情景三的時候：每臺伺服器執行

getfattr -m . -d -e hex hello

均返回：

trusted.afr.dirty=0x000000000000000000000000

此時叢集處於：INNOCENT 狀態，各個節點資料均正常。

情景三：來回切斷gfs1、gfs2、gfs3的網路

僅gfs3斷網情況下：

echo “gfs3_stop” >> hello

在伺服器gfs1、gfs2均可以看到該檔案，程式正常，無腦裂現象產生。

此時：

gfs1:

trusted.afr.dirty=0x000000000000000000000000

trusted.afr.three-vm-client-2=0x000000010000000000000000

表明：gfs1認為自己的正確的處於WISE狀態，gfs3的data是不正確的，需要進行同步。

gfs2:

trusted.afr.dirty=0x000000000000000000000000

trusted.afr.three-vm-client-2=0x000000010000000000000000

表明：gfs2認為自己的正確的處於WISE狀態，gfs3的data是不正確的，需要進行同步。

斷開gfs2的網路，開啟gfs3的網路：

此時會將gfs1的資料同步到gfs3中

 gfs1:

    trusted.afr.dirty=0x000000000000000000000000

trusted.afr.three-vm-client-2=0x000000000000000000000000

表明資料已經同步成功，認為自己的gfs3的資料均為有效資料。

gfs3:

trusted.afr.dirty=0x000000000000000000000000

然後在掛載的客戶端輸入：

echo “gfs2_stop”>>hello

此時：

gfs1:

trusted.afr.dirty=0x000000000000000000000000

trusted.afr.three-vm-client-1=0x000000010000000000000000

trusted.afr.three-vm-client-2=0x000000000000000000000000

此時gfs1認為自己和gfs3的資料都是正確的，gfs2的資料需要進行同步。

gfs3:

trusted.afr.dirty=0x000000000000000000000000

trusted.afr.three-vm-client-1=0x000000010000000000000000

此時gfs3認為自己的資料也是正確的，gfs2的資料需要同步。

斷開gfs1的網路，開啟gfs2的網路：

在glusterfs掛載客戶端執行：cat hello

出現：hello: Input/output error，此時便出現腦裂的情況了。

gfs2:

trusted.afr.dirty=0x000000000000000000000000

trusted.afr.three-vm-client-2=0x000000010000000000000000

此時gfs2認為自己是正確的處於WISE狀態，認為gfs3是錯誤的，需要被同步。

gfs3:

trusted.afr.dirty=0x000000000000000000000000

trusted.afr.three-vm-client-1=0x000000010000000000000000

而gfs3的認為自己也是正確的，處於WISE狀態，而gfs2的是錯誤的。

此時叢集中便存在兩個WISE節點，並且相互存在衝突，從而導致腦裂的產生。此時開啟gfs1的網路，腦裂的問題就解決了，因為gfs1也處於WISE狀態，如果存在WISE副本，且沒有其他WISE副本或者其他WISE副本沒有衝突，這時候該副本就可以作為source，並將該source同步至gfs1、gfs2。

13. 高可靠性

開啟：

gluster volume set three-vm cluster.server-quorum-type server

gluster volume set all cluster.server-quorum-ratio 50%

1）、情景一：glusterfs叢集存在一臺主機存活

gfs2、gfs3斷網情況下，glusterfs叢集只存在一臺主機：

此時glusterfs掛載客戶端無法訪問glusterfs叢集，出現異常資訊：

ls: cannot open directory .: Transport endpoint is not connected。

2）、情景二：glusterfs叢集存在兩臺主機存活

僅gfs3斷網情況下：

echo “hello glusterfs” >> hello

在伺服器gfs1、gfs2均可以看到該檔案。

3）、情景三測試同高可用性一致。

14. 設定自動腦裂修復

檢視自動腦裂修復的幫助：

gluster volume set help|grep -A3 cluster.favorite-child-policy

執行自動修復命令：

gluster volume set gfs_vm2 cluster.favorite-child-policy mtime

glusterfs調優：

預設值為on，可設定值為on/off

gluster volume setgfs_vm2 performance.flush-behind on

客戶端：Translator performance/writebehind

預設值為1mb，可設定值524288 - 1073741824

現在設定值：512M

gluster volume setgfs_vm2 performance.write-behind-window-size 524288

服務端：Translator performance/io-threads

預設值為16，可設定值為0-65，當前設定值16

gluster volume setgfs_vm2 performance.io-thread-count 16

預設值為32 MB，可設定值為：[4194304 - 34359738368]

當前設定值：4G

gluster volume setgfs_vm2 performance.cache-size4194304

writebehind 預設值為1mb io-threads預設值為16 cache-size為32mb flush-behind預設值為on

GEO-rep配置

   gluster volume create strip-vm stripe 2 replica 2 gfs1:/data/strip_brick1 gfs2:/data/strip_brick1 gfs1:/data/strip_brick2 gfs2:/data/strip_brick2

gluster volume geo-replication strip-vmgfs3::strip_gep_repcreate push-pem

gluster volume geo-replication strip-vmgfs3::strip_gep_rep start

gluster volume geo-replication strip-vmgfs3::strip_gep_rep stop [force]

gluster volume geo-replication strip-vmgfs3::strip_gep_rep  resume force

Strip-vm調優引數

gluster volume set strip-vm performance.flush-behind on

gluster volume set strip-vm performance.write-behind-window-size 524288

gluster volume set strip-vm performance.io-thread-count 4

gluster volume set strip-vm performance.cache-size 4194304

mount.glusterfs gfs1:/strip-vm/data/strip_gfsdata