Ceph 檔案系統 CephFS 的實戰配置，等你來學習 -- <4>
Ceph 檔案系統 CephFS 的介紹與配置
CephFs介紹
Ceph File System (CephFS) 是與 POSIX 標準相容的檔案系統, 能夠提供對 Ceph 儲存叢集上的檔案訪問. Jewel 版本 (10.2.0) 是第一個包含穩定 CephFS 的 Ceph 版本. CephFS 需要至少一個元資料伺服器 (Metadata Server - MDS) daemon (ceph-mds) 執行, MDS daemon 管理著與儲存在 CephFS 上的檔案相關的元資料, 並且協調著對 Ceph 儲存系統的訪問。
物件儲存的成本比起普通的檔案儲存還是較高，需要購買專門的物件儲存軟體以及大容量硬碟。如果對資料量要求不是海量，只是為了做檔案共享的時候，直接用檔案儲存的形式好了，價效比高。
## CephFS 架構
底層是核心叢集所依賴的, 包括:
- OSDs (ceph-osd): CephFS 的資料和元資料就儲存在 OSDs 上
- MDS (ceph-mds): Metadata Servers, 管理著 CephFS 的元資料
- Mons (ceph-mon): Monitors 管理著叢集 Map 的主副本
Ceph 儲存叢集的協議層是 Ceph 原生的 librados 庫, 與核心叢集互動.
CephFS 庫層包括 CephFS 庫 libcephfs, 工作在 librados 的頂層, 代表著 Ceph 檔案系統.最上層是能夠訪問 Ceph 檔案系統的兩類客戶端.
配置 CephFS MDS
要使用 CephFS， 至少就需要一個 metadata server 程序。可以手動建立一個 MDS， 也可以使用 ceph-deploy 或者 ceph-ansible 來部署 MDS。
登入到ceph-deploy工作目錄執行
# ceph-deploy mds create $hostname部署Ceph檔案系統
部署一個 CephFS, 步驟如下:
- 在一個 Mon 節點上建立 Ceph 檔案系統.
- 若使用 CephX 認證,需要建立一個訪問 CephFS 的客戶端
- 掛載 CephFS 到一個專用的節點.
- 以 kernel client 形式掛載 CephFS
以 FUSE client 形式掛載 CephFS
建立一個 Ceph 檔案系統
1、CephFS 需要兩個 Pools - cephfs-data 和 cephfs-metadata, 分別儲存檔案資料和檔案元資料
# ceph osd pool create cephfs-data 256 256
# ceph osd pool create cephfs-metadata 64 64注：一般 metadata pool 可以從相對較少的 PGs 啟動, 之後可以根據需要增加 PGs. 因為 metadata pool 儲存著 CephFS 檔案的元資料, 為了保證安全, 最好有較多的副本數. 為了能有較低的延遲, 可以考慮將 metadata 儲存在 SSDs 上.
2、建立一個 CephFS, 名字為 cephfs:
# ceph fs new cephfs cephfs-metadata cephfs-data3、驗證至少有一個 MDS 已經進入 Active 狀態
ceph fs status cephfs4、在 Monitor 上, 建立一個使用者，用於訪問CephFs
# ceph auth get-or-create client.cephfs mon 'allow r' mds 'allow rw' osd 'allow rw pool=cephfs-data, allow rw pool=cephfs-metadata'
[client.cephfs]
key = AQAXTwte09lkFhAA0sSPRRm5+391tYUwte2qYg==
5、驗證key是否生效
ceph auth get client.cephfs
exported keyring for client.cephfs
[client.cephfs]
key = AQAXTwte09lkFhAA0sSPRRm5+391tYUwte2qYg==
caps mds = "allow rw"
caps mon = "allow r"
caps osd = "allow rw pool=cephfs-data, allow rw pool=cephfs-metadata"
6、檢查CephFs和mds狀態
ceph mds stat
ceph fs ls
ceph fs status以 kernel client 形式掛載 CephFS
1、建立掛載目錄 cephfs
# mkdir /cephfs2、掛載目錄
# mount -t ceph 192.168.25.224:6789,192.168.25.227:6789,192.168.25.228:6789:/ /cephfs/ -o name=cephfs,secret=AQAXTwte09lkFhAA0sSPRRm5+391tYUwte2qYg==
# 祕鑰就是上面建立使用者的key
~]$ df -h
192.168.25.224:6789,192.168.25.227:6789,192.168.25.228:6789:/ 36G 9.2G 27G 26% /cephfs3、自動掛載
# echo "mon1:6789,mon2:6789,mon3:6789:/ /cephfs ceph name=cephfs,secretfile=/etc/ceph/cephfs.key,_netdev,noatime 0 0" | sudo tee -a /etc/fstab4、驗證是否掛載成功
# stat -f /cephfs以 FUSE client 形式掛載 CephFS(失敗)
1、安裝ceph-common
yum install -y ceph-common2、安裝ceph-fuse
yum install -y ceph-fuse3、將叢集的ceph.conf拷貝到客戶端
scp [email protected]:/etc/ceph/ceph.conf /etc/ceph/
chmod 644 /etc/ceph/ceph.conf4、使用 ceph-fuse 掛載 CephFS
ceph-fuse --keyring /etc/ceph/ceph.client.cephfs.keyring --name client.cephfs -m 192.168.25.224:6789,192.168.25.227:6789,192.168.25.228:6789 /cephfs/5、驗證 CephFS 已經成功掛載
stat -f /cephfs6、自動掛載
echo "none /cephfs fuse.ceph ceph.id=cephfs[,ceph.conf=/etc/ceph/ceph.conf],_netdev,defaults 0 0"| sudo tee -a /etc/fstab
或
echo "id=cephfs,conf=/etc/ceph/ceph.conf /mnt/ceph2 fuse.ceph _netdev,defaults 0 0"| sudo tee -a /etc/fstab7、解除安裝
fusermount -u /cephfsMDS主備與主主切換
配置主主模式
MDS配置模式分為以下三種：
- 冷備模式：同一時間，只有一個mds工作，單純的程序備份。
- 熱備模式：同一時間，只有一個mds工作，但除了程序備份，也實時備份元資料，這樣可以加快MDS故障切換時間。
- 多主模式：多個MDS同時工作，各自管理自己負責的元資料。
預設情況下，每個cephfs檔案系統的MDS都是以冷備模式配置的。有時候為了獲取更高的效能，可以啟用多個活動的MDS守護程序，也就是多主模式，它們將彼此分擔元資料的工作負載。
- 當cephfs的效能出現在MDS上時，就應該配置多個活動的MDS。通常是多個客戶機應用程式並行的執行大量元資料操作，並且它們分別有自己單獨的工作目錄。這種情況下很適合使用多主MDS模式。
- 配置MDS多主模式
每個cephfs檔案系統都有一個max_mds設定，可以理解為它將控制建立多少個主MDS。注意只有當實際的MDS個數大於或等於max_mds設定的值時，mdx_mds設定才會生效。例如，如果只有一個MDS守護程序在執行，並且max_mds被設定為兩個，則不會建立第二個主MDS。
[root@cephnode01 ~]# ceph -s
cluster:
id: b6e6146b-c0c0-4058-927a-762b6a98d463
health: HEALTH_OK
services:
mon: 3 daemons, quorum cephnode01,cephnode02,cephnode03 (age 20h)
mgr: cephnode01(active, since 20h), standbys: cephnode02, cephnode03
mds: cephfs:1 {0=cephnode01=up:active} 2 up:standby
osd: 9 osds: 9 up (since 19h), 9 in (since 19h)
rgw: 1 daemon active (cephnode01)
data:
pools: 7 pools, 608 pgs
objects: 262 objects, 5.3 KiB
usage: 9.1 GiB used, 27 GiB / 36 GiB avail
pgs: 608 active+clean
io:
client: 937 B/s wr, 0 op/s rd, 3 op/s wr
~]$ ceph fs set cephnode01 max_mds 21.3、配置備用MDS
即使有多個活動的MDS，如果其中一個MDS出現故障，仍然需要備用守護程序來接管。因此，對於高可用性系統，實際配置max_mds時，最好比系統中MDS的總數少一個。
但如果你確信你的MDS不會出現故障，可以通過以下設定來通知ceph不需要備用MDS，否則會出現insufficient standby daemons available告警資訊：
# ceph fs set <fs> standby_count_wanted 0 還原單主MDS
2.1、設定max_mds
# ceph fs set cephfs max_mds 12.2 刪除不需要的rank
ceph mds deactivate cephfs:2