引言：Ceph 檔案系統（ Ceph FS ）是個 POSIX 相容的檔案系統，它使用 Ceph 儲存叢集來儲存資料。 Ceph 檔案系統與 Ceph 塊裝置、同時提供 S3 和 Swift API 的 Ceph 物件儲存、或者原生庫（ librados ）一樣，都使用著相同的 Ceph 儲存集群系統。

前提條件：需要搭建好ceph叢集：具體步驟見Ceph叢集搭建

準備工作

1. 在管理節點(admin-node)上，用ceph-deploy把Ceph安裝到Ceph客戶端節點(ceph-client)上(注：客戶端也可以安裝在管理節點上，因為此處我把已經安裝好Ceph的管理節點當做客戶端使用，故無需執行以下命令)

   ceph-deploy install {ceph-client-node}
   

2. 檢視Ceph叢集執行健康狀態，是HEALTH_OK且PG進入active+clean狀態即可，並確保叢集中至少有一個元資料伺服器(mds)

   [[email protected] ceph]# ceph -s
     cluster:
       id:     13430f9a-ce0d-4d17-a215-272890f47f28
       health: HEALTH_OK
   
     services:
       mon: 3 daemons, quorum ceph2,ceph1,ceph3
       mgr: ceph1
    
   (active), standbys: ceph3, ceph2
       osd: 3 osds: 3 up, 3 in
       rgw: 1 daemon active
   
     data:
       pools:   4 pools, 32 pgs
       objects: 219  objects, 1.1 KiB
       usage:   3.0 GiB used, 245 GiB / 248 GiB avail
       pgs:     32 active+clean 
   

1.建立檔案系統

①使用兩個Pool來分別儲存資料和元資料

[[email protected] ceph]# ceph osd pool create cephfs_data 128
 

pool 'cephfs_data' created
[[email protected] ceph]# ceph osd pool create cephfs_metadata 64
pool 'cephfs_metadata' created

檢視叢集狀態發現pool+2=6，pgs+192=224。

  data:
    pools:   6 pools, 224 pgs
    objects: 219  objects, 1.1 KiB
    usage:   3.0 GiB used, 245 GiB / 248 GiB avail
    pgs:     224 active+clean

②建立一個CephFS

[[email protected] ceph]# ceph fs new cephfs cephfs_metadata cephfs_data
new fs with metadata pool 7 and data pool 6

檢視叢集狀態發現cephfs建立成功，當前元資料伺服器狀態是up:active表示正常。

[[email protected] ceph]# ceph -s
  cluster:
    id:     13430f9a-ce0d-4d17-a215-272890f47f28
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum ceph2,ceph1,ceph3
    mgr: ceph1(active), standbys: ceph3, ceph2
    mds: cephfs-1/1/1 up  {0=ceph1=up:active}
    osd: 3 osds: 3 up, 3 in
    rgw: 1 daemon active
 
  data:
    pools:   6 pools, 224 pgs
    objects: 241  objects, 3.4 KiB
    usage:   3.0 GiB used, 245 GiB / 248 GiB avail
    pgs:     224 active+clean

使用下面的命令可以檢視建立的CephFS:

[[email protected] ceph]# ceph fs ls
name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]

2.掛載CephFS

客戶端訪問Ceph FS有兩種方式：

1. 核心驅動
   ①檢視ceph.client.admin.keyring金鑰環並複製key值

    [[email protected] ceph]# cat ceph.client.admin.keyring 
    [client.admin]
            key = AQBAI/JbROMoMRAAbgRshBRLLq953AVowLgJPw==
            caps mds = "allow *"
            caps mgr = "allow *"
            caps mon = "allow *"
            caps osd = "allow *"
   

   ②把CephFS掛載為核心驅動(secret引數的值就是剛才複製的key值)

    [[email protected] ceph]# mkdir /mnt/mycephfs
    [[email protected] ceph]# mount -t ceph 10.0.86.246:6789,10.0.86.221:6789,10.0.86.253:6789:/ /mnt/mycephfs/ -o name=admin,secret=AQBAI/JbROMoMRAAbgRshBRLLq953AVowLgJPw==
   

   ③檢視當前檔案系統情況發現掛載成功

    [[email protected] ceph]# df -h
    Filesystem                                            Size  Used Avail Use% Mounted on
    /dev/vda2                                              48G  6.7G   42G  14% /
    devtmpfs                                              1.9G     0  1.9G   0% /dev
    tmpfs                                                 2.0G  8.0K  2.0G   1% /dev/shm
    tmpfs                                                 2.0G   17M  2.0G   1% /run
    tmpfs                                                 2.0G     0  2.0G   0% /sys/fs/cgroup
    tmpfs                                                 2.0G   48K  2.0G   1% /var/lib/ceph/osd/ceph-0
    tmpfs                                                 396M     0  396M   0% /run/user/0
    10.0.86.246:6789,10.0.86.221:6789,10.0.86.253:6789:/   78G     0   78G   0% /mnt/mycephfs
   

2. 使用者空間檔案系統(略)

3.解除安裝CephFS

[[email protected] ceph]# umount /mnt/mycephfs

檢視當前檔案系統情況發現解除安裝成功

[[email protected] ceph]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda2        48G  6.7G   42G  14% /
devtmpfs        1.9G     0  1.9G   0% /dev
tmpfs           2.0G  8.0K  2.0G   1% /dev/shm
tmpfs           2.0G   17M  2.0G   1% /run
tmpfs           2.0G     0  2.0G   0% /sys/fs/cgroup
tmpfs           2.0G   48K  2.0G   1% /var/lib/ceph/osd/ceph-0
tmpfs           396M     0  396M   0% /run/user/0