持之以恆，不言放棄

軟體環境：
- Centos7 x64
CEPH版本 ：
- ceph-deploy v1.5.37
- ceph version 10.2.9

步驟1.修改主機名（即節點名）
1）
sed -i ‘/HOSTNAME/d’ /etc/sysconfig/network
echo “HOSTNAME=主機名” >> /etc/sysconfig/network
cat /etc/sysconfig/network
2）
echo “IP地址 主機名” >> /etc/hosts
cat /etc/hosts
3）
hostname cydb
hostname -f
重啟

步驟2.配置SSH
ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa（-t rsa用RSA加密，-P ‘’空密碼，-f儲存密碼的位置）
ssh-copy-id [email protected]主機名

步驟3.配置firewall
（開啟6789埠給MON，6800-7100埠給OSD）
firewall-cmd –zone=public –add-port=6789/tcp –permanent
firewall-cmd –zone=public –add-port=6800-7100/tcp –permanent
firewall-cmd –reload
firewall-cmd –zone=public –list-all

步驟4.關閉selinux
setenforce 0
sed -i s’/SELINUX.*=.*enforcing/SELINUX=disabled’/g /etc/selinux/config
cat /etc/selinux/config
可看到SELINUX=disabled

步驟6.新增ceph.repo檔案（把軟體包源加入軟體倉庫）
sudo vim /etc/yum.repos.d/ceph.repo
寫入
[ceph-noarch]
name=Ceph noarch packages
baseurl=https://download.ceph.com/rpm-jewel/el7/noarch

步驟7 安裝ceph-deploy（要更新軟體庫）
sudo yum update
sudo yum install ceph-deploy
檢查是否安裝成功：ceph-deploy –help

步驟8.部署cluster（叢集）
mkdir /opt/ceph-cluster
cd /opt/ceph-cluster
ceph-deploy new 節點名
（這時可以ls一下當前目錄，會有一個ceph配置檔案、一個monitor金鑰環。一個日誌檔案。）
echo “osd crush chooseleaf type = 0” >> ceph.conf
echo “osd pool default size = 1” >> ceph.conf
echo “osd journal size = 100” >> ceph.conf
cat ceph.conf

步驟9.安裝ceph
修改ceph源（外國的源總是timeout）
export CEPH_DEPLOY_REPO_URL=http://mirrors.163.com/ceph/rpm-jewel/el7
export CEPH_DEPLOY_GPG_URL=http://mirrors.163.com/ceph/keys/release.asc
安裝ceph
ceph-deploy install 節點名
報錯則執行yum remove -y ceph-release之後重新安裝ceph
檢查是否安裝成功：ceph –version

步驟10.部署Monitor
ceph-deploy mon create-initial
檢查叢集狀態：ceph -s
（顯示現在是HEALTH_ERR不健康狀態）

步驟11.部署兩個OSD
1）準備兩個塊裝置（可以是硬碟也可以是LVM卷），這裡我們使用LVM（邏輯卷）
dd if=/dev/zero of=ceph-volumes.img bs=1M count=8192 oflag=direct
sgdisk -g –clear ceph-volumes.img
sudo vgcreate ceph-volumes $(sudo losetup –show -f ceph-volumes.img)
sudo lvcreate -L2G -nceph0 ceph-volumes
sudo lvcreate -L2G -nceph1 ceph-volumes
sudo mkfs.xfs -f /dev/ceph-volumes/ceph0
sudo mkfs.xfs -f /dev/ceph-volumes/ceph1
mkdir -p /srv/ceph/{osd0,osd1,mon0,mds0}
sudo mount /dev/ceph-volumes/ceph0 /srv/ceph/osd0
sudo mount /dev/ceph-volumes/ceph1 /srv/ceph/osd1
建立了兩個虛擬磁碟ceph0和ceph1並分別掛載到/srv/ceph/osd0和/srv/ceph/osd1目錄下
2）掛載兩個OSD
ceph-deploy osd prepare monster:/srv/ceph/osd0
ceph-deploy osd prepare monster:/srv/ceph/osd1
3）啟用兩個OSD
ceph-deploy osd activate monster:/srv/ceph/osd0
ceph-deploy osd activate monster:/srv/ceph/osd1
報錯：RuntimeError: Failed to execute command: ceph-disk -v activate –mark-init upstart –mount /srv/ceph/osd0
解決：使用命令 sudo chown ceph:ceph /srv/ceph/osd0，然後重新啟用

步驟12.複製admin金鑰到其他節點
ceph-deploy admin monster

驗證：
ceph的安裝狀態：ceph -s
ceph叢集健康狀態：ceph -w
ceph monitor仲裁狀態：ceph quorum_status –format json-pretty
ceph mon stat
ceph osd stat
ceph osd tree（顯示crush圖）
ceph pg stat
ceph auth list（叢集的認證密碼）

如果碰到麻煩，要從頭再來，可以用下列命令清楚配置：
ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy forgetkeys
用下列命令可以連 Ceph 安裝包一起清除：
ceph-deploy purge {ceph-node} [{ceph-node}]
之後必須重新安裝 Ceph