2. 程式人生 > >在Kubernetes叢集中用Helm託管安裝Ceph叢集並提供後端儲存_Kubernetes中文社群

在Kubernetes叢集中用Helm託管安裝Ceph叢集並提供後端儲存_Kubernetes中文社群

阿新 • • 發佈：2018-12-27

在Kubernetes叢集中用Helm託管安裝Ceph叢集並提供後端儲存

本文翻譯自Ceph官方文件，括號內的內容為註釋。

安裝

ceph-helm 專案可讓你在Kubernetes 環境以託管方式部署Ceph . 本文件假定Kubernetes 環境已經可用。

當前的限制

  • Public網路和Cluster網路必須是同一個網路
  • 如果 storage class 使用者標識不是admin, 則必須在Ceph叢集中手動建立使用者並在Kubernetes中建立其secret
  • ceph-mgr只能執行1個replica

安裝並使用Helm

Helm通過從本地讀取Kubernetes配置檔案來查詢Kubernetes叢集; 確保檔案已下載和且helm客戶端可以訪問。

Kubernetes群集必須配置並執行Tiller伺服器，並且須將本地Helm客戶端網路可達。檢視init的Helm文件獲取幫助。要在本地執行Tiller並將Helm連線到它，請執行如下命令（此命令會在Kubernetes叢集部署一個tiller例項）：

$ helm init

ceph-helm專案預設使用本地的Helm repo來儲存charts。要啟動本地Helm repo伺服器，請執行：

$ helm serve &
$ helm repo add local http://localhost:8879/charts

新增Ceph-Helm charts到本地repo

$ git clone https://github.com/ceph/ceph-helm
$ cd
 
 ceph-helm/ceph
$ make

配置Ceph叢集

建立一個包含Ceph配置的ceph-overrides.yaml檔案。這個檔案可能存在於任何地方，本文件預設此檔案在使用者的home目錄中。

$ cat ~/ceph-overrides.yaml
network:
  public:   172.21.0.0/20
  cluster:   172.21.0.0/20

osd_devices:
  - name: dev-sdd
    device: /dev/sdd
    zap: "1"
  - name: dev-sde
    device: /dev/sde
    zap
 
: "1"

storageclass:
  name: ceph-rbd
  pool: rbd
  user_id: k8s

注意 如果未設定日誌（journal）裝置，它將與device裝置同位置。另ceph-helm/ceph/ceph/values.yaml檔案包含所有可配置的選項。

建立Ceph 叢集的namespace

預設情況下，ceph-helm元件在Kubernetes的ceph namespace中執行。如果要自定義，請自定義namespace的名稱，預設namespace請執行：

$ kubectl create namespace ceph

配置RBAC許可權

Kubernetes> = v1.6使RBAC成為預設的admission controller。ceph-helm要為每個元件提供RBAC角色和許可權：

$ kubectl create -f ~/ceph-helm/ceph/rbac.yaml

rbac.yaml檔案假定Ceph叢集將部署在ceph名稱空間中。

給Kubelet節點打標籤

需要設定以下標籤才能部署Ceph叢集：

ceph-mon=enabled
ceph-mgr=enabled
ceph-osd=enabled
ceph-osd-device-<name>=enabled

ceph-osd-device-標籤是基於我們的ceph-overrides.yaml中定義的osd_devices名稱值建立的。從我們下面的例子中，我們將得到以下兩個標籤：ceph-osd-device-dev-sdb和ceph-osd-device-dev-sdc。

每個 Ceph Monitor節點:

$ kubectl label node <nodename> ceph-mon=enabled ceph-mgr=enabled

每個 OSD node節點:

$ kubectl label node <nodename> ceph-osd=enabled ceph-osd-device-dev-sdb=enabled ceph-osd-device-dev-sdc=enabled

Ceph 部署

執行helm install命令來部署Ceph：

$ helm install --name=ceph local/ceph --namespace=ceph -f ~/ceph-overrides.yaml
NAME:   ceph
LAST DEPLOYED: Wed Oct 18 22:25:06 2017
NAMESPACE: ceph
STATUS: DEPLOYED

RESOURCES:
==> v1/Secret
NAME                    TYPE    DATA  AGE
ceph-keystone-user-rgw  Opaque  7     1s

==> v1/ConfigMap
NAME              DATA  AGE
ceph-bin-clients  2     1s
ceph-bin          24    1s
ceph-etc          1     1s
ceph-templates    5     1s

==> v1/Service
NAME      CLUSTER-IP      EXTERNAL-IP  PORT(S)   AGE
ceph-mon  None            <none>       6789/TCP  1s
ceph-rgw  10.101.219.239  <none>       8088/TCP  1s

==> v1beta1/DaemonSet
NAME              DESIRED  CURRENT  READY  UP-TO-DATE  AVAILABLE  NODE-SELECTOR                                     AGE
ceph-mon          3        3        0      3           0          ceph-mon=enabled                                  1s
ceph-osd-dev-sde  3        3        0      3           0          ceph-osd-device-dev-sde=enabled,ceph-osd=enabled  1s
ceph-osd-dev-sdd  3        3        0      3           0          ceph-osd-device-dev-sdd=enabled,ceph-osd=enabled  1s

==> v1beta1/Deployment
NAME                  DESIRED  CURRENT  UP-TO-DATE  AVAILABLE  AGE
ceph-mds              1        1        1           0          1s
ceph-mgr              1        1        1           0          1s
ceph-mon-check        1        1        1           0          1s
ceph-rbd-provisioner  2        2        2           0          1s
ceph-rgw              1        1        1           0          1s

==> v1/Job
NAME                                 DESIRED  SUCCESSFUL  AGE
ceph-mgr-keyring-generator           1        0           1s
ceph-mds-keyring-generator           1        0           1s
ceph-osd-keyring-generator           1        0           1s
ceph-rgw-keyring-generator           1        0           1s
ceph-mon-keyring-generator           1        0           1s
ceph-namespace-client-key-generator  1        0           1s
ceph-storage-keys-generator          1        0           1s

==> v1/StorageClass
NAME     TYPE
ceph-rbd  ceph.com/rbd

helm install的輸出顯示了將要部署的不同型別的資源。

將使用ceph-rbd-provisioner Pod建立ceph.com/rbd型別的名為ceph-rbd的StorageClass。這允許建立PVC時自動提供RBD。第一次掛載時，RBD裝置將被格式化（format）。所有RBD裝置都將使用ext4檔案系統。ceph.com/rbd不支援fsType選項。預設情況下，RBD將使用映象格式2和映象分層特性。可以在values檔案中覆蓋以下storageclass的預設值：

storageclass:
  name: ceph-rbd
  pool: rbd
  user_id: k8s
  user_secret_name: pvc-ceph-client-key
  image_format: "2"
  image_features: layering

使用下面的命令檢查所有Pod是否正常執行。這可能需要幾分鐘時間：

$ kubectl -n ceph get pods
NAME                                    READY     STATUS    RESTARTS   AGE
ceph-mds-3804776627-976z9               0/1       Pending   0          1m
ceph-mgr-3367933990-b368c               1/1       Running   0          1m
ceph-mon-check-1818208419-0vkb7         1/1       Running   0          1m
ceph-mon-cppdk                          3/3       Running   0          1m
ceph-mon-t4stn                          3/3       Running   0          1m
ceph-mon-vqzl0                          3/3       Running   0          1m
ceph-osd-dev-sdd-6dphp                  1/1       Running   0          1m
ceph-osd-dev-sdd-6w7ng                  1/1       Running   0          1m
ceph-osd-dev-sdd-l80vv                  1/1       Running   0          1m
ceph-osd-dev-sde-6dq6w                  1/1       Running   0          1m
ceph-osd-dev-sde-kqt0r                  1/1       Running   0          1m
ceph-osd-dev-sde-lp2pf                  1/1       Running   0          1m
ceph-rbd-provisioner-2099367036-4prvt   1/1       Running   0          1m
ceph-rbd-provisioner-2099367036-h9kw7   1/1       Running   0          1m
ceph-rgw-3375847861-4wr74               0/1       Pending   0          1m

注意 因為我們沒有用ceph-rgw = enabled或ceph-mds = enabled 給節點打標籤（ceph物件儲存特性需要ceph-rgw，cephfs特性需要ceph-mds），因此MDS和RGW Pod都處於pending狀態，一旦其他Pod都在執行狀態，請用如下命令從某個MON節點檢查Ceph的叢集狀態：

$ kubectl -n ceph exec -ti ceph-mon-cppdk -c ceph-mon -- ceph -s
cluster:
  id:     e8f9da03-c2d2-4ad3-b807-2a13d0775504
  health: HEALTH_OK

services:
  mon: 3 daemons, quorum mira115,mira110,mira109
  mgr: mira109(active)
  osd: 6 osds: 6 up, 6 in

data:
  pools:   0 pools, 0 pgs
  objects: 0 objects, 0 bytes
  usage:   644 MB used, 5555 GB / 5556 GB avail
  pgs:

配置一個POD以便從Ceph申請使用一個持久卷

為〜/ ceph-overwrite.yaml中定義的k8s使用者建立一個金鑰環，並將其轉換為base64：

$ kubectl -n ceph exec -ti ceph-mon-cppdk -c ceph-mon -- bash
# ceph auth get-or-create-key client.k8s mon 'allow r' osd 'allow rwx pool=rbd'  | base64
QVFCLzdPaFoxeUxCRVJBQUVEVGdHcE9YU3BYMVBSdURHUEU0T0E9PQo=
# exit

編輯ceph namespace中存在的使用者secret：

$ kubectl -n ceph edit secrets/pvc-ceph-client-key

將base64值複製到key位置的值並儲存：:

apiVersion: v1
data:
  key: QVFCLzdPaFoxeUxCRVJBQUVEVGdHcE9YU3BYMVBSdURHUEU0T0E9PQo=
kind: Secret
metadata:
  creationTimestamp: 2017-10-19T17:34:04Z
  name: pvc-ceph-client-key
  namespace: ceph
  resourceVersion: "8665522"
  selfLink: /api/v1/namespaces/ceph/secrets/pvc-ceph-client-key
  uid: b4085944-b4f3-11e7-add7-002590347682
type: kubernetes.io/rbd

我們建立一個在default namespace中使用RBD的Pod。將使用者secret從ceph namespace複製到default namespace：

$ kubectl -n ceph get secrets/pvc-ceph-client-key -o json | jq '.metadata.namespace = "default"' | kubectl create -f -
secret "pvc-ceph-client-key" created
$ kubectl get secrets
NAME                  TYPE                                  DATA      AGE
default-token-r43wl   kubernetes.io/service-account-token   3         61d
pvc-ceph-client-key   kubernetes.io/rbd                     1         20s

建立並初始化RBD池：

$ kubectl -n ceph exec -ti ceph-mon-cppdk -c ceph-mon -- ceph osd pool create rbd 256
pool 'rbd' created
$ kubectl -n ceph exec -ti ceph-mon-cppdk -c ceph-mon -- rbd pool init rbd

重要 重要的 Kubernetes使用RBD核心模組將RBD對映到主機。Luminous需要CRUSH_TUNABLES 5（Jewel）。這些可調引數的最小核心版本是4.5。如果您的核心不支援這些可調引數，請執行ceph osd crush tunables hammer。

重要 由於RBD對映到主機系統上。主機需要能夠解析由kube-dns服務管理的ceph-mon.ceph.svc.cluster.local名稱。要獲得kube-dns服務的IP地址，執行kubectl -n kube-system get svc/kube-dns。

建立一個PVC：

$ cat pvc-rbd.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: ceph-pvc
spec:
  accessModes:
   - ReadWriteOnce
  resources:
    requests:
       storage: 20Gi
  storageClassName: ceph-rbd
$ kubectl create -f pvc-rbd.yaml
persistentvolumeclaim "ceph-pvc" created
$ kubectl get pvc
NAME       STATUS    VOLUME                                     CAPACITY   ACCESSMODES   STORAGECLASS   AGE
ceph-pvc   Bound     pvc-1c2ada50-b456-11e7-add7-002590347682   20Gi       RWO           ceph-rbd        3s

檢查叢集上是否已建立RBD：

$ kubectl -n ceph exec -ti ceph-mon-cppdk -c ceph-mon -- rbd ls
kubernetes-dynamic-pvc-1c2e9442-b456-11e7-9bd2-2a4159ce3915
$ kubectl -n ceph exec -ti ceph-mon-cppdk -c ceph-mon -- rbd info kubernetes-dynamic-pvc-1c2e9442-b456-11e7-9bd2-2a4159ce3915
rbd image 'kubernetes-dynamic-pvc-1c2e9442-b456-11e7-9bd2-2a4159ce3915':
    size 20480 MB in 5120 objects
    order 22 (4096 kB objects)
    block_name_prefix: rbd_data.10762ae8944a
    format: 2
    features: layering
    flags:
    create_timestamp: Wed Oct 18 22:45:59 2017

建立一個使用此PVC的Pod：

$ cat pod-with-rbd.yaml
kind: Pod
apiVersion: v1
metadata:
  name: mypod
spec:
  containers:
    - name: busybox
      image: busybox
      command:
        - sleep
        - "3600"
      volumeMounts:
      - mountPath: "/mnt/rbd"
        name: vol1
  volumes:
    - name: vol1
      persistentVolumeClaim:
        claimName: ceph-pvc
$ kubectl create -f pod-with-rbd.yaml
pod "mypod" created

檢查Pod：

$ kubectl get pods
NAME      READY     STATUS    RESTARTS   AGE
mypod     1/1       Running   0          17s
$ kubectl exec mypod -- mount | grep rbd
/dev/rbd0 on /mnt/rbd type ext4 (rw,relatime,stripe=1024,data=ordered)

日誌

可以通過kubectl logs [-f]命令訪問OSD和Monitor日誌。Monitors有多個日誌記錄流，每個流都可以從ceph-mon Pod中的容器訪問。

在ceph-mon Pod中有3個容器執行：ceph-mon，相當於物理機上的ceph-mon.hostname.log，cluster-audit-log-tailer相當於物理機上的ceph.audit.log，cluster-log-tailer相當於物理機上的ceph.log或ceph -w。每個容器都可以通過–container或-c選項訪問。例如，要訪問cluster-tail-log，可以執行：

$ kubectl -n ceph logs ceph-mon-cppdk -c cluster-log-tailer

相關推薦

在Kubernetes叢集中用Helm託管安裝Ceph叢集並提供後端儲存_Kubernetes中文社群

在Kubernetes叢集中用Helm託管安裝Ceph叢集並提供後端儲存 本文翻譯自Ceph官方文件，括號內的內容為註釋。 安裝 ceph-helm 專案可讓你在Kubernetes 環境以託管方式部署Ceph . 本文件假定Kubernetes 環境已經可用。 當前的限制 Public網路

1.快速部署ceph叢集（ceph做openstack的後端儲存）

Ceph 簡介（官網 http://docs.ceph.org.cn/start/intro/）不管你是想為雲平臺提供Ceph 物件儲存和/或 Ceph 塊裝置，還是想部署一個 Ceph 檔案系統或者把 Ceph 作為他用，所有 Ceph 儲存叢集的部署都始於部署一個個 Ce

Kubernetes共享使用Ceph儲存_Kubernetes中文社群

目錄 簡要概述 環境測試 結果驗證 簡要概述 Kubernetes pod 結合Ceph rbd塊裝置的使用，讓Docker 資料儲存在Ceph,重啟Docker或k8s RC重新排程pod 不會引起資料來回遷移。 工作原理無非就是拿到ceph叢集的key作為認證，遠端rbdmap對映掛載

FreeWheel基於Kubernetes容器雲構建與實踐：應用編排與服務質量保證_Kubernetes中文社群

【編者的話】隨著公司業務不斷髮展以及逐漸向微服務的轉變，我們藉助於Kubernetes容器化解決方案來標準化和簡化應用釋出的整個流程，使原來需要大量人工維護和干預的工作變為自動化。本次內容主要是FreeWheel現階段基於Kubernetes容器化經驗和實踐的總結，目標是提供一個持續、穩定、高

全球六家 CNCF 官方認證 Kubernetes 培訓合作伙伴名單首發，DaoCloud 作為中國區代表入選_Kubernetes中文社群

DaoCloud 獲得 CNCF 官方認證的 「Kubernetes 培訓合作伙伴」資質，將結合自身技術實踐，讓以 Kubernetes 為代表的雲原生技術落地到更多亟待轉型的企業和個人。 丹麥哥本哈根當地時間 2018 年 5 月 2 日，在剛剛開幕的 KubeCon + CloudNati

Kubernetes（k8s）v1.7新特性 新增StorageOS卷外掛與Local持久儲存_Kubernetes中文社群

背景介紹 在Kubernetes中卷的作用在於提供給POD儲存，這些儲存可以掛載到POD中的容器上，進而給容器提供儲存。 從圖中可以看到結構體PodSpec有個屬性是Volumes，通過這個Volumes屬性可以關聯到結構體Volume和結構體VolumeSource，而且這個Volumes

Kubernetes 中的幾種儲存_Kubernetes中文社群

參考：https://kubernetes.io/docs/concepts/storage/volumes/ 一個執行中的容器，預設情況下，對檔案系統的寫入，都是發生在其分層檔案系統的可寫層的，一旦容器執行結束，所有寫入都會被丟棄。因此需要對持久化支援。 Kubernetes 中通過 Vol

換個姿勢學習Kubernetes運營，如何5個月在生產環境構建K8S？_Kubernetes中文社群

在分散式系統上管理服務是運維團隊面臨的最困難的問題之一。在生產中突破新軟體並學習如何可靠地運營是非常重要的。本文是一則例項，講述為什麼學習運營Kubernetes很重要，以及為什麼很難。本文是關於Kubernetes bug導致的一小時中斷故障的事後剖析。為什麼選擇在Kuberne

易寶支付基於Kubernetes的私有容器雲從0到1的建設之路_Kubernetes中文社群

【編者的話】本次分享將為大家介紹易寶支付私有容器雲從0到1的建設之路。包括技術選型、理論基礎、基於Kubernetes的容器雲和CI/CD落地過程中的挑戰和踩過的坑。 建設背景及目標 在Docker技術流行開來之前，保證軟體交付的質量和速度對於大多數企業來說都是困難的。業務的複雜性帶來了應用

Kubernetes(k8s)1.5新特性:Kubelet API增加認證和授權能力_Kubernetes中文社群

一、背景介紹 在Kubernetes1.5中，對於kubelet新增加了幾個同認證/授權相關的幾個啟動引數，分別是： 認證相關引數： •       anonymous-auth引數：是否啟用匿名訪問，可以選擇true或者false，預設是true，表示啟用匿名訪問。 •       auth

後Kubernetes時代，帶你係統梳理K8S 12大關鍵特性_Kubernetes中文社群

導讀： Kubernetes如今風靡一時，所有主要的雲服務提供商都將其作為部署雲原生應用的解決方案。Kubernetes有哪些顯著的特性和工具優勢，讓企業開始接受它？本文作者給出了系統的梳理。 “Action without orchestration is bur

Kubernetes 穩定版釋出兩年，程式碼提交次數破5萬_Kubernetes中文社群

佔據容器排程工具龍頭的Kubernetes，距離1.0版釋出已達2年之久。現在該專案在GitHub上的提交次數總共已經破5萬。參與Kubernetes上游專案開發的CoreOS，也揭露了幾個資料，顯示該專案生態圈的大小。CoreOS社群經理Elsie Phillips表示，在過去一整年內，程式

ceph儲存 centos7+0.87原始碼安裝ceph叢集問題彙總

安裝過程中整理的相關文件和rpms包下載連線： centOS 7修改hostname localectl set-locale LANG=要修改的語言 hostnamectl set-hostname 你要修改到的hostname 0.87原始碼安裝配置問題彙總 ./c

使用開源Breeze工具部署Kubernetes 1.12.1高可用叢集_Kubernetes中文社群

Breeze專案是深圳睿雲智合所開源的Kubernetes圖形化部署工具，大大簡化了Kubernetes部署的步驟，其最大亮點在於支援全離線環境的部署，且不需要翻牆獲取Google的相應資源包，尤其適合某些不便訪問網際網路的伺服器場景。（專案地址 https://github.com/wise

Kubernetes使用叢集聯邦實現多叢集管理_Kubernetes中文社群

作者介紹：有容雲系統工程師 呂龍。 Kubernetes在1.3版本之後，增加了“叢集聯邦”Federation的功能。這個功能使企業能夠快速有效的、低成本的跨區跨域、甚至在不同的雲平臺上執行叢集。這個功能可以按照地理位置建立一個複製機制，將多個kubernetes叢集進行復制，即使遇到某個區

初試 Kubernetes 叢集中使用 Contour 反向代理_Kubernetes中文社群

文章由作者：楊傳勝投稿； 在 Kubernetes 中執行大規模以 Web 為中心的工作負載，最關鍵的需求之一就是在 L7 層實現高效流暢的入口流量管理。自從第一批 Kubernetes Ingress Controller 開發完成以來，Envoy（由 Matt Klein 和 Lyft 團

在kubernetes上部署consul叢集_Kubernetes中文社群

本教程將幫助你在kubernetes上部署一個擁有3個節點的consul叢集 備註：consul教程見Consul; 預覽 預備知識 本教程利用了Kubernetes 1.7.0和更高版本的特性. 下客戶端必須安裝在本教程所使用的機器上: 使用 Clone this repo: git

容器、容器叢集管理平臺與Kubernetes技術漫談_Kubernetes中文社群

文章由作者投稿： 高慶，百悟科技  高階運維工程師 本文源自一次技術選型的工作中所收集、整理、調研和撰寫的技術資料，釋出於2018年11月12日。 我們為什麼使用容器？ 我們為什麼使用虛擬機器（雲主機）？ 為什麼使用物理機？ 這一系列的問題並沒有一個統一的標準答案。因為以上幾類技術棧都有自身最

Kubernetes v1.10+Keepalived HA叢集牆內部署實踐_Kubernetes中文社群

[[email protected] ~]# systemctl start etcd Job for etcd.service failed because a timeout was exceeded. See systemctl status etcd.service and journalc

用kubeadm在Ubuntu上快速構建Kubernetes測試叢集_Kubernetes中文社群

用kubeadm在Ubuntu上快速構建Kubernetes測試叢集 本文將介紹如何在Ubuntu server 16.04版本上安裝kubeadm，並利用kubeadm快速的在Ubuntu server 版本 16.04上構建一個kubernetes的基礎的測試叢集，用來做學習和測試用途，當