詳細講解MFS分布式文件系統搭建(內含源碼包)
分布式文件系統（Distributed File Systemm）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網絡與節點相連。簡單來說，就是把一些分散的（分布在局域網內各個計算機上）共享文件夾，集合到一個文件夾內（虛擬共享文件夾）。對於用戶來說，要訪問這些共享文件夾時，只要打開這個虛擬共享文件夾，就可以看到所有鏈接到虛擬共享文件夾內的共享文件夾，用戶感覺不到這些共享文件是分散在各個計算機上的。分布式文件系統的好處是集中訪問、簡化操作、數據容災，以及提高文件的存取性能。
MFS原理：
MFS是一個具有容錯性的網絡分布式文件系統，它把數據分散存放在多個物理服務器上，而呈現給用戶的則是一個統一的資源。
MFS文件系統的組成：
#元數據服務器（Master）:在整個體系中負責管理文件系統，維護元數據。
#元數據日誌服務器（MetaLogger）:備份Master服務器的變化日誌文件，文件類型為changelog_ml.*.mfs。當Master服務器數據丟失或者損壞時，可以從日誌服務器中取得文件，進行修復。
#數據存儲服務器（Chunk Server）:真正存儲數據的服務器。存儲文件時，會把文件分塊保存，在數據服務器之間進行復制。數據服務器越多，能使用的“容量”就越大，可靠性就越高，性能也就越好。
#客戶端（Client）:可以像掛載NFS一樣掛載MFS文件系統，其操作是相同的。
MFS讀取數據的處理過程：
#客戶端向元數據服務器發出讀請求
#元數據服務器把所需數據存放的位置（Chunk Server的IP地址和Chunk編號）告知客戶端
#客戶端向已知的Chunk Server請求發送數據
#Chunk Server向客戶端發送數據
MFS寫入數據的處理過程：
#客戶端向元數據服務器發送寫入請求
#元數據服務器與Chunk Server進行交互（只有當所需的分塊Chunks存在的時候才進行交互），但元數據服務器只在某些服務器創建新的分塊Chunks,創建成功後由Chunk Server告知元數據服務器操作成功。
#元數據服務器告知客戶端，可以在哪個Chunk Server的哪些Chunks寫入數據。#客戶端向指定的Chunk Server寫入數據
#該Chunk Server與其他Chunk Server進行數據同步，同步成功後Chunk Server告知客戶端數據寫入成功
#客戶端告知元數據服務器本次寫入完畢
下面為MFS文件系統的基本組成架構：
下面我通過實驗進行說明：
實驗環境：
mfs軟件包鏈接：https://pan.baidu.com/s/1QDIMfqZGjlqUfRRwZfDFqQ
提取碼：d3mi
一、搭建Master Server
下載編譯環境
yum install gcc gcc-c++ zlib-devel -y
關閉防火墻
systemctl stop firewalld.service
setenforce 0
建立管理用戶
useradd -s /sbin/nologin mfs
解壓源碼包
tar zxvf mfs-1.6.27-5.tar.gz -C /opt
對本臺服務器進行配置，因為在進行源碼包編譯時，它是默認安裝了所有模塊的，而這臺是Master所以需要禁用chunkserver和mount兩個模塊
cd /opt/mfs-1.6.27/
./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfschunkserver \
--disable-mfsmount
編譯安裝
make && make install
復制文件
cd /usr/local/mfs/etc/mfs/
cp mfsexports.cfg.dist mfsexports.cfg
cp mfsmaster.cfg.dist mfsmaster.cfg
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
cd /usr/local/mfs/var/mfs/
cp metadata.mfs.empty metadata.mfs
將該文件的屬組和屬主改為mfs
chown -R mfs.mfs /usr/local/mfs
本臺服務器需要用到的配置文件有兩個：mfsmaster.cfg（主配置文件）和mfsexports.cfg（被掛載目錄及權限配置文件）。這兩個文件不需要做任何修改就可以開始工作
mfsmaster.cfg文件常用參數如下：
#WORKING_USER = mfs #運行masterserver的用戶
#WORKING_GROUP = mfs #運行masterserver的組
#SYSLOG_IDENT = mfsmaster #在syslog中表示是mfsmaster產生的日誌
#LOCK_MEMORY = 0 #是否執行mlockall(),以避免mfsmaster進程溢出（默認為0）
#NICE_LEVEL = -19 #運行的優先級（如果可以，默認是-19；註意：進程必須用root啟動）#EXPORTS_FILENAME = /usr/local/mfs/etc/mfs/mfsexports.cfg #被掛載目錄及其權限控制文件的存放位置
#TOPOLOGY_FILENAME = /usr/local/mfs/etc/mfs/mfstopology.cfg
#DATA_PATH = /usr/local/mfs/var/mfs #數據存放路徑
#BACK_LOGS = 50 #metadata改變的log文件數目（默認是50）
#BACK_META_KEEP_PREVIOUS = 1#REPLICATIONS_DELAY_INIT = 300
#REPLICATIONS_DELAY_DISCONNECT = 3600#MATOML_LISTEN_HOST = #metalogger監聽的IP地址（默認是，代表任何IP）
#MATOML_LISTEN_PORT = 9419 #metalogger監聽的端口地址（默認是9419）
#MATOML_LOG_PRESERVE_SECONDS = 600#MATOCS_LISTEN_HOST = #用於chunkserver連接的IP地址（默認是，代表任何IP）
#MATOCS_LISTEN_PORT = 9420 #用於chunkserver連接的端口地址（默認是9420）#MATOCL_LISTEN_HOST = #用於客戶端掛接連接的IP地址（默認是，代表任何IP）
#MATOCL_LISTEN_PORT = 9421 #用於客戶端掛接連接的端口地址（默認是4921）#CHUNKS_LOOP_MAX_CPS = 100000
#CHUNKS_LOOP_MIN_TIME = 300 #chunk的回環頻率（默認是300秒）#CHUNKS_SOFT_DEL_LIMIT = 10
#CHUNKS_HARD_DEL_LIMIT = 25
#CHUNKS_WRITE_REP_LIMIT = 2 #在一個循環裏復制到一個chunkserver的最大chunk數
#CHUNKS_READ_REP_LIMIT = 10 #在一個循環裏從一個chunkserver復制的最大chunk數
#ACCEPTABLE_DIFFERENCE = 0.1#SESSION_SUSTAIN_TIME = 86400
#REJECT_OLD_CLIENTS = 0#deprecated:
#CHUNKS_DEL_LIMIT - use CHUNKS_SOFT_DEL_LIMIT instead
#LOCK_FILE - lock system has been changed, and this option is used only to search for old lockfile
mfsexports.cfg文件參數格式如下：
#Allow everything but "meta".
- / rw,alldirs,maproot=0
#Allow "meta".
- . rw
該文件每一個條目分為三部分
第一部分：客戶端的IP地址
第二部分：被掛接的目錄
第三部分：客戶端擁有的權限
地址可以指定的幾種表現形式：
#*——所有的IP地址
#n.n.n.n——單個IP地址
#n.n.n.n/b——IP網絡地址/子網掩碼
#f.f.f.f-t.t.t.t——IP段
目錄部分的標識如下：
#/標識MFS根
#.表示MFSMETA文件系統
權限部分的標識如下
#ro——只讀模式共享
#rw——讀寫的方式共享
#alldirs——允許掛載任何指定的子目錄
#admin——管理員權限
#maproot——映射為root，還是指定的用戶
#Password——指定客戶端密碼
啟動Master Server
/usr/local/mfs/sbin/mfsmaster start
查看進程，如果有MFS的進程表示服務成功開啟
ps -ef | grep mfs
這是關閉Master Server命令
/usr/local/mfs/sbin/mfsmaster -s
二、搭建Metalogger Server
安裝編譯環境
yum install gcc gcc-c++ zlib-devel -y
關閉防火墻
systemctl stop firewalld.service
setenforce 0
創建管理用戶
useradd -s /sbin/nologin mfs
解壓安裝包
tar zxvf mfs-1.6.27-5.tar.gz -C /opt
配置模塊，因為本臺服務器是Log服務器，所以需要禁用掉mfschunkserver和mfsmount兩個模塊
cd /opt/mfs-1.6.27/
./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfschunkserver \
--disable-mfsmount
編譯安裝
make && make install
復制文件，本臺服務器只需要開啟日誌文件即可
cd /usr/local/mfs/etc/mfs/
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
在文件中將地址指向Master Server的地址
vim mfsmetalogger.cfg
MASTER_HOST = 192.168.199.129
將文件的屬組和屬主都改為mfs
chown -R mfs.mfs /usr/local/mfs/
開啟MetaLog Server服務
/usr/local/mfs/sbin/mfsmetalogger start
查看進程，如果有MFS進程表示服務成功開啟
ps -ef | grep mfs
關閉服務用如下命令
/usr/local/mfs/sbin/mfsmetalogger -s
三、搭建兩臺Chunk Server，兩臺的操作步驟完全一樣
安裝編譯環境
yum install gcc gcc-c++ zlib-devel -y
創建管理用戶
useradd -s /sbin/nologin mfs
關閉防火墻
systemctl stop firewalld.service
setenforce 0
解壓安裝包
tar zxvf mfs-1.6.27-5.tar.gz -C /opt
配置模塊，本臺服務器是Chunk Server,所以需要禁用掉mfsmaster和mfsmount兩個模塊
cd /opt/mfs-1.6.27/
./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfsmaster \
--disable-mfsmount
編譯安裝
make && make install
開啟mfschunkserver和mfshdd兩個文件
cd /usr/local/mfs/etc/mfs/
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg
在chunk文件下將地址指向 Master Server
vim mfschunkserver.cfg
MASTER_HOST = 192.168.199.129
在mfshdd文件下添加一行/data，在這裏/data是一個給MFS的分區，生存環境最好使用獨立的分區或磁盤掛載到此目錄
vim mfshdd.cfg
#mount points of HDD drives#/mnt/hd1
#/mnt/hd2
#etc.
/data
創建掛載目錄
mkdir /data
chown -R mfs.mfs /data
開啟服務
/usr/local/mfs/sbin/mfschunkserver start
想要關閉可以使用如下命令
/usr/local/mfs/sbin/mfschunkserver -s
查看進程，可以檢測服務是否開啟
ps -ef | grep mfs
四、客戶端配置
安裝編譯環境，MFS客戶端依賴於FUSE，所以需要安裝fuse的安裝包和開發包
yum install gcc gcc-c++ zlib-devel fuse fuse-devel -y
關閉防火墻
systemctl stop firewalld.service
setenforce 0
添加環境變量PKG_CONFIG_PATH，環境變量PKG_CONFIG_PATH是用來設置.pc文件的搜索路徑的，pkg-config按照設置路徑的先後順序進行搜索，直到找到指定的.pc 文件為止
vim /etc/profile
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
source /etc/profile
創建進程管理用戶
useradd -s /sbin/nologin mfs
解壓安裝包
tar zxvf mfs-1.6.27-5.tar.gz -C /opt
配置模塊，本臺服務器是Client,所以需要禁用掉mfsmaster和mfschunkserver兩個模塊，同時開啟mfsmount模塊
cd /opt/mfs-1.6.27/
./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfsmaster \
--disable-mfschunkserver \
--enable-mfsmount
編譯安裝
make && make install
創建掛載點
mkdir /opt/mfs
加載fuse模塊到內核
modprobe fuse
掛載MFS
/usr/local/mfs/bin/mfsmount /opt/mfs -H 192.168.199.129
查看掛載情況
df -hT
192.168.199.129:9421 fuse.mfs 13G 0 13G 0% /opt/mfs
優化客戶端
MFS在客戶端安裝完畢後，會生成/usr/local/mfs/bin目錄，在這個目錄下有很多命令文件，為了方便使用這些命令，可以將該路徑添加到環境變量中
vim /etc/profile
export PATH=/usr/local/mfs/bin:$PATH
source /etc/profile
Mfsgetgoal命令用來查詢文件被復制的份數，利用-r命令可以對整個目錄進行遞歸，goal是指文件被復制的份數
mfsgetgoal -r /opt/mfs
/opt/mfs:
directories with goal 1 : 1
Mfsaetgoal命令用來設置文件被復制的份數，生產環境Chunk Server節點數量應至少大於2，文件副本數小於等於Chunk Server服務器的數量
mfssetgoal -r 2 /opt/mfs
/opt/mfs:
inodes with goal changed: 1
inodes with goal not changed: 0
inodes with permission denied: 0
創建測試文件
cd /opt/mfs
touch test
mfsgetgoal test
test: 2
MFS監控 (在Master Server上執行)
Mfsgiserv是用python編寫的一個WEB服務器，其監聽端口是9425，可以在Master Server上通過命令/usr/local/mfs/sbin/mfscgiserv 來啟動
/usr/local/mfs/sbin/mfscgiserv #在客戶端上執行
http://192.168.199.129:9425 #通過瀏覽器訪問該地址
下圖為登錄訪問的頁面：
詳細講解MFS分布式文件系統搭建(內含源碼包)