ceph文件系統安裝配置

1 前言

Ceph是一種為優秀的性能、可靠性和可擴展性而設計的統一的、分布式文件系統。

l Ceph OSDs: Ceph OSD 守護進程（ Ceph OSD ）的功能是存儲數據，處理數據的復制、恢復、回填、再均衡，並通過檢查其他OSD 守護進程的心跳來向 Ceph Monitors 提供一些監控信息。當 Ceph 存儲集群設定為有2個副本時，至少需要2個 OSD 守護進程，集群才能達到active+clean 狀態（ Ceph 默認有3個副本，但你可以調整副本數）。

l Monitors: Ceph Monitor維護著展示集群狀態的各種圖表，包括監視器圖、OSD 圖、歸置組（ PG ）圖、和 CRUSH 圖。 Ceph 保存著發生在Monitors 、 OSD 和 PG上的每一次狀態變更的歷史信息（稱為 epoch ）。

l MDSs: Ceph 元數據服務器（ MDS ）為 Ceph 文件系統存儲元數據（也就是說，Ceph 塊設備和 Ceph 對象存儲不使用MDS ）。元數據服務器使得 POSIX 文件系統的用戶們，可以在不對 Ceph 存儲集群造成負擔的前提下，執行諸如 ls、find 等基本命令。

2 安裝配置

2.1 實驗環境

操作系統：Centos 7 x64

2.2 安裝配置ceph

192.168.8.10操作

2.2.1 yum環境

yuminstall -y yum-utils && yum-config-manager --add-repohttps://dl.fedoraproject.org/pub/epel/7/x86_64/ && yum install --nogpgcheck -y epel-release&& rpm --import/etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && rm /etc/yum.repos.d/dl.fedoraproject.org*

編輯yum源：

vim/etc/yum.repos.d/ceph.repo

安裝ceph-deploy

yuminstall ceph-deploy

安裝ntp

yuminstall ntp ntpdate ntp-doc

2.2.2 hosts文件

vi/etc/hosts

添加

2.2.3 無密鑰登錄

ssh-keygen 一直回車

把公鑰拷貝到各 Ceph 節點

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

2.2.4 創建集群

先在管理節點上創建一個目錄，用於保存 ceph-deploy 生成的配置文件和密鑰對。

mkdirmy-cluster

cdmy-cluster

ceph-deploy 會把文件輸出到當前目錄，所以請確保在此目錄下執行後面的 ceph-deploy 相關命令

2.2.5 安裝mon

在管理節點上，進入剛創建的放置配置文件的目錄，用 ceph-deploy 執行如下步驟。

ceph-deploynew ceph-mon1 ceph-mon2 ceph-mon3

在當前目錄下用 ls 和 cat 檢查ceph-deploy 的輸出，應該有一個 Ceph 配置文件、一個 monitor 密鑰環和一個日誌文件。

2.2.6 安裝ceph

ceph-deployinstall ceph-deploy ceph-mon1 ceph-mon2 ceph-mon3 ceph-node0 ceph-node1ceph-node2 ceph-mds cephfs

ceph-deploy將在各節點安裝Ceph 。 註：如果你執行過 ceph-deploy purge ，你必須重新執行這一步來安裝 Ceph 。

2.2.7 初始化mon

配置初始 monitor(s)、並收集所有密鑰：

ceph-deploymon create-initial

2.2.8 添加osd

添加OSD 。這次我們是把目錄而非整個硬盤用於 OSD 守護進程（存儲數據）。

ssh ceph-node0

mkdir/var/local/osd0

exit

sshceph-node1

mkdir/var/local/osd1

exit

sshceph-node2

mkdir/var/local/osd2

exit

然後，從管理節點執行 ceph-deploy 來準備 OSD 。

ceph-deployosd prepare ceph-node0:/var/local/osd0 ceph-node1:/var/local/osd1ceph-node2:/var/local/osd2

ceph-deployosd activate ceph-node0:/var/local/osd0 ceph-node1:/var/local/osd1ceph-node2:/var/local/osd2

用 ceph-deploy 把配置文件和 admin 密鑰拷貝到管理節點和 Ceph 節點

ceph-deployadmin ceph-deploy ceph-mon1 ceph-mon2 ceph-mon3 ceph-node0 ceph-node1ceph-node2 ceph-mds cephfs

檢查集群的健康狀況

cephstatus

等 peering 完成後，集群應該達到 active + clean 狀態。

2.2.9 添加元數據

至少需要一個元數據服務器才能使用 CephFS文件系統 ，執行下列命令創建元數據服務器：

ceph-deploymds create ceph-mds

當前生產環境下的 Ceph 只能運行一個元數據服務器。你可以配置多個，但多個目前還不穩定。

2.2.10 添加存儲池

用此命令創建存儲池時：

cephosd pool create {pool-name} pg_num

確定 pg_num 取值是強制性的，因為不能自動計算。下面是幾個常用的值：

少於 5 個 OSD 時可把 pg_num 設置為 128

OSD 數量在 5 到 10 個時，可把 pg_num 設置為512

OSD 數量在 10 到 50 個時，可把 pg_num 設置為4096

OSD 數量大於 50 時，你得理解權衡方法、以及如何自己計算 pg_num 取值

自己計算 pg_num 取值時可借助 pgcalc 工具：http://ceph.com/pgcalc/

一個 Ceph 文件系統需要至少兩個 RADOS 存儲池，一個用於數據、一個用於元數據。配置這些存儲池時需考慮：

為元數據存儲池設置較高的副本水平，因為此存儲池丟失任何數據都會導致整個文件系統失效。

為元數據存儲池分配低延時存儲器（像 SSD ），因為它會直接影響到客戶端的操作延時。

cephosd pool create cephfs_metadata 128 128

cephosd pool create cephfs_data 512 512

2.2.11 創建文件系統

創建好存儲池後，你就可以用 fs new 命令創建文件系統了：

cephfs new cephfs cephfs_metadata cephfs_data

查看文件系統：

cephfs ls

文件系統創建完畢後， MDS 服務器就能達到 active 狀態了，比如在一個單 MDS 系統中：

cephmds stat

2.2.12 掛載文件系統

查看密鑰：

cat/etc/ceph/ceph.client.admin.keyring

將紅色部分導入一個新文件

echo“AQA1nLhZBEVaDBAAtHOx5OEdOjKSpvHN3JVJeA==”> /etc/ceph/admin.secret

chmod600 /etc/ceph/admin.secret

掛載文件系統

mount-t ceph 192.168.8.11,192.168.8.12,192.168.8.13:6789:/ /mnt/mycephfs -oname=admin,secretfile=/etc/ceph/admin.secret

查看cephfs容量

cephdf

2.2.13 fstab配置

要用內核驅動掛載 Ceph FS ，按下列格式添加到 /etc/fstab ：

{ipaddress}:{port}:/{mount}/{mountpoint} {filesystem-name} [name=username,secret=secretkey|secretfile=/path/to/secretfile],[{mount.options}]

192.168.8.11,192.168.8.12,192.168.8.13:6789:/ /mnt/mycephfs ceph name=admin, secretfile=/etc/ceph/admin.secret,noatime 0 0

2.3 擴容ceph

2.3.1 新增osd

如增加ceph-osd3 IP為192.168.8.19

管理節點增加主機名解析：

vi/etc/hosts

192.168.8.19 ceph-osd3

增加無密鑰登錄

[email protected]

ssh ceph-osd3

sudomkdir /var/local/osd3

exit

然後，從管理節點執行 ceph-deploy 來準備 OSD 。

ceph-deployosd prepare ceph-node3:/var/local/osd3

激活 OSD

ceph-deployosd activate ceph-node3:/var/local/osd3

2.3.2 刪除osd

如刪除ceph-osd3 IP為192.168.8.19

刪除 OSD 前，它通常是 up 且 in 的，要先把它踢出集群，以使 Ceph 啟動重新均衡、把數據拷貝到其他 OSD 。

先查看osd對應數字

cpehosd tree

然後進行踢出

cephosd out 3

觀察數據遷移

一旦把 OSD 踢出（ out ）集群，Ceph 就會開始重新均衡集群、把歸置組遷出將刪除的 OSD 。你可以用 ceph 工具觀察此過程。

ceph –w

你會看到歸置組狀態從 active+clean 變為 active, some degradedobjects 、遷移完成後最終回到 active+clean 狀態。

註意：有時候，（通常是只有幾臺主機的“小”集群，比如小型測試集群）拿出（ out ）某個 OSD 可能會使CRUSH 進入臨界狀態，這時某些 PG 一直卡在active+remapped 狀態。如果遇到了這種情況，你應該把此 OSD 標記為 in ，用這個命令：

cephosd in 3

等回到最初的狀態後，把它的權重設置為 0 ，而不是標記為 out ，用此命令：

ceph osdcrush reweight osd.3 0

執行後，你可以觀察數據遷移過程，應該可以正常結束。把某一 OSD 標記為 out 和權重改為 0的區別在於，前者，包含此 OSD 的桶、其權重沒變；而後一種情況下，桶的權重變了（降低了此 OSD 的權重）。某些情況下， reweight 命令更適合“小”集群。

停止 OSD

把 OSD 踢出集群後，它可能仍在運行，就是說其狀態為 up 且 out 。刪除前要先停止 OSD 進程。

ssh ceph-osd3

systemctlstop [email protected]

exit

停止 OSD 後，狀態變為 down 。

cephosd tree

刪除 CRUSH 圖的對應 OSD 條目，它就不再接收數據了。

cephosd crush remove osd.3

cephosd crush remove ceph-node3

刪除 OSD 認證密鑰：

cephauth del osd.3

刪除 OSD

cephosd rm 3

從 ceph.conf 配置文件裏刪除對應條目。

ssh ceph-deploy

cd/etc/ceph

vimceph.conf

[osd.3]

host = {hostname}

本文出自 “桃子技術” 博客，請務必保留此出處http://taozijishu.blog.51cto.com/11320335/1966875

ceph文件系統安裝配置