Ceph 簡介（官網 http://docs.ceph.org.cn/start/intro/）

不管你是想為雲平臺提供Ceph 物件儲存和/或 Ceph 塊裝置，還是想部署一個 Ceph 檔案系統或者把 Ceph 作為他用，所有 Ceph 儲存叢集的部署都始於部署一個個 Ceph 節點、網路和 Ceph 儲存叢集。 Ceph 儲存叢集至少需要一個 Ceph Monitor 和兩個 OSD 守護程序。而執行 Ceph 檔案系統客戶端時，則必須要有元資料伺服器（ Metadata Server ）。

• Ceph OSDs: Ceph OSD 守護程序（ Ceph OSD ）的功能是儲存資料，處理資料的複製、恢復、回填、再均衡，並通過檢查其他OSD 守護程序的心跳來向 Ceph Monitors 提供一些監控資訊。當 Ceph 儲存叢集設定為有2個副本時，至少需要2個 OSD 守護程序，叢集才能達到 active+clean
  狀態（ Ceph 預設有3個副本，但你可以調整副本數）。
• Monitors: Ceph Monitor維護著展示叢集狀態的各種圖表，包括監視器圖、 OSD 圖、歸置組（ PG ）圖、和 CRUSH 圖。 Ceph 儲存著發生在Monitors 、 OSD 和 PG上的每一次狀態變更的歷史資訊（稱為 epoch ）。
• MDSs: Ceph 元資料伺服器（ MDS ）為 Ceph 檔案系統儲存元資料（也就是說，Ceph 塊裝置和 Ceph 物件儲存不使用MDS ）。元資料伺服器使得 POSIX 檔案系統的使用者們，可以在不對 Ceph 儲存叢集造成負擔的前提下，執行諸如 ls、find 等基本命令。

Ceph 把客戶端資料儲存為儲存池內的物件。通過使用 CRUSH 演算法， Ceph 可以計算出哪個歸置組（PG）應該持有指定的物件(Object)，然後進一步計算出哪個 OSD 守護程序持有該歸置組。 CRUSH 演算法使得 Ceph 儲存叢集能夠動態地伸縮、再均衡和修復。

CentOS7上部署ceph分散式儲存叢集。在ceph-node1、ceph-node2和ceph-node3上建立一個三節點的叢集。

準備環境

hosts檔案配置（在三個ceph節點上操作）

[email protected] ~]# cat /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

10.1.1.120 controller1 controller1.openstack.com

10.1.1.121 controller2 controller2.openstack.com

10.1.1.122 controller3 controller3.openstack.com

10.1.1.123 compute1 compute1.openstack.com

10.1.1.124 compute2 compute2.openstack.com

10.1.1.125 nfs-backend backend.openstack.com

10.1.1.126 cinder1 cinder1.openstack.com

10.1.1.127 ceph-node1 ceph-node1.openstack.com     #下面這三臺

10.1.1.128 ceph-node2 ceph-node2.openstack.com

10.1.1.129 ceph-node3 ceph-node3.openstack.com

9.110.187.168 openstack.openstack.com    



軟體環境



    作業系統：Centos 7.3

    Openstack：N版

    Ceph：yongbangyan



安裝Ceph準備repo



在所有ceph節點上準備下面的源。（在三個ceph節點上操作）

 yum clean all

 rm -rf /etc/yum.repos.d/*.repo

 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

 wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

 sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo

 sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo

 sed -i 's/$releasever/7/g' /etc/yum.repos.d/CentOS-Base.repo



 #vi /etc/yum.repos.d/ceph.repo

[ceph-node]

name=ceph-node

baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/x86_64/

gpgcheck=0

[ceph-noarch]

name=cephnoarch

baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch/

gpgcheck=0



 yum update -y





作業系統配置

    1:無密碼訪問配置

      在deploy節點(ceph-node1)上執行。配置deploy節點和其他ceph節點之間的無密碼訪問。

ssh-keygen -t rsa

ssh-copy-id -i /root/.ssh/id_rsa.pub -p 22

[email protected]

ssh-copy-id -i /root/.ssh/id_rsa.pub -p 22 [email protected]



    2:禁用Selinux，在所有ceph節點上執行（在三個ceph節點上操作）
systemctl disable firewalld.service
systemctl stop firewalld.service
sed -i "s/SELINUX=enforcing/SELINUX=disabled/"   /etc/selinux/config

    3:安裝ntp，在所有ceph節點上執行（在三個ceph節點上操作）
      yum install ntp ntpdate -y
      systemctl restart ntpdate.service ntpd.service   
      systemctl enable ntpd.service ntpdate.service

   4.準備好環境後重啟（在三個ceph節點上操作）
reboot

部署Ceph叢集（注意：以下都是在ceph-node1操作）

    1:安裝ceph-deploy
      yum install ceph-deploy -y
   
    2:用Ceph-deploy建立Ceph叢集
      mkdir /etc/ceph
      cd /etc/ceph
      ceph-deploy new ceph-node1

      生成一個新的ceph叢集，叢集包括ceph配置檔案以及monitor的金鑰環。

    3:在ceph-node1安裝ceph二進位制軟體包
      ceph-deploy install --no-adjust-repos ceph-node1 ceph-node2 ceph-node3

    4:修改ceph 配置檔案
      [global]
      fsid = 7bac6963-0e1d-4cea-9e2e-f02bbae96ba7
      mon_initial_members = ceph-node1
      mon_host = 10.1.1.127
      auth_cluster_required = cephx
      auth_service_required = cephx
      auth_client_required = cephx
      public network = 10.1.1.0/24
 
    5:在ceph-node1上建立第一個ceph monitor
      ceph-deploy mon create-initial

    6:在ceph-node1上建立OSD
      ceph-deploy disk list ceph-node1(列出disk）
      ceph-deploy disk zap ceph-node1:sdb ceph-node1:sdc ceph-node1:sdd
      ceph-deploy osd create ceph-node1:sdb ceph-node1:sdc ceph-node1:sdd
    
    7:用Ceph-deploy在ceph-node1上建立ceph-node2、ceph-node3的monitor
      ceph-deploy mon create ceph-node2
      ceph-deploy mon create ceph-node3
      ceph –s
 
      ceph osd lspools
      ceph osd tree
      ceph osd pool delete rbd rbd --yes-i-really-really-mean-it    刪除osd pool池
      ceph mon stat
    8:在ceph-node1上建立ceph-node2OSD
      ceph-deploy disk zap ceph-node3:sdb ceph-node2:sdc ceph-node2:sdd
      ceph-deploy osd create ceph-node2:sdb ceph-node2:sdc ceph-node2:sdd
      在ceph-node1上建立ceph-node3的OSD
      ceph-deploy disk zap ceph-node3:sdb ceph-node3:sdc ceph-node3:sdd
      ceph-deploy osd create ceph-node3:sdb ceph-node3:sdc ceph-node3:sdd
    9:調整rbd儲存池的pg_num和pgp_num
      ceph osd pool set rbd pg_num 256
      ceph osd pool set rbd pgp_num 256



通過上面的步驟，一個all in one的ceph就成功部署了。
ceph -s