Kubernetes的資源控制器StatefulSet詳解與示例

主機配置規劃

什麼是控制器

kubernetes中內建了很多controller（控制器），這些相當於一個狀態機，用來控制pod的具體狀態和行為。

• ReplicationController 和 ReplicaSet
• Deployment
• DaemonSet
• StatefulSet
• Job/CronJob
• HorizontalPodAutoscaler

StatefulSet

StatefulSet 是用來管理有狀態應用的工作負載 API 物件。

StatefulSet 中的 Pod 擁有一個具有黏性的、獨一無二的身份標識。這個標識基於 StatefulSet 控制器分配給每個 Pod 的唯一順序索引。Pod 的名稱的形式為<statefulset name>-<ordinal index> 。例如：web的StatefulSet 擁有兩個副本，所以它建立了兩個 Pod：web-0和web-1。

和 Deployment 相同的是，StatefulSet 管理了基於相同容器定義的一組 Pod。但和 Deployment 不同的是，StatefulSet 為它們的每個 Pod 維護了一個固定的 ID。這些 Pod 是基於相同的宣告來建立的，但是不能相互替換：無論怎麼排程，每個 Pod 都有一個永久不變的 ID。

【使用場景】StatefulSets 對於需要滿足以下一個或多個需求的應用程式很有價值：

• 穩定的、唯一的網路識別符號，即Pod重新排程後其PodName和HostName不變【當然IP是會變的】
• 穩定的、持久的儲存，即Pod重新排程後還是能訪問到相同的持久化資料，基於PVC實現
• 有序的、優雅的部署和縮放
• 有序的、自動的滾動更新

如上面，穩定意味著 Pod 排程或重排程的整個過程是有永續性的。

如果應用程式不需要任何穩定的識別符號或有序的部署、刪除或伸縮，則應該使用由一組無狀態的副本控制器提供的工作負載來部署應用程式，比如使用 Deployment 或者 ReplicaSet 可能更適用於無狀態應用部署需要。

限制

• 給定 Pod 的儲存必須由 PersistentVolume 驅動 基於所請求的 storage class 來提供，或者由管理員預先提供。
• 刪除或者收縮 StatefulSet 並不會刪除它關聯的儲存卷。這樣做是為了保證資料安全，它通常比自動清除 StatefulSet 所有相關的資源更有價值。
• StatefulSet 當前需要 headless 服務 來負責 Pod 的網路標識。你需要負責建立此服務。
• 當刪除 StatefulSets 時，StatefulSet 不提供任何終止 Pod 的保證。為了實現 StatefulSet 中的 Pod 可以有序和優雅的終止，可以在刪除之前將 StatefulSet 縮放為 0。
• 在預設 Pod 管理策略(OrderedReady) 時使用滾動更新，可能進入需要人工干預才能修復的損壞狀態。

有序索引

對於具有 N 個副本的 StatefulSet，StatefulSet 中的每個 Pod 將被分配一個整數序號，從 0 到 N-1，該序號在 StatefulSet 上是唯一的。

StatefulSet 中的每個 Pod 根據 StatefulSet 中的名稱和 Pod 的序號來派生出它的主機名。組合主機名的格式為$(StatefulSet 名稱)-$(序號)。

部署和擴縮保證

• 對於包含 N 個 副本的 StatefulSet，當部署 Pod 時，它們是依次建立的，順序為 0~(N-1)。
• 當刪除 Pod 時，它們是逆序終止的，順序為 (N-1)~0。
• 在將縮放操作應用到 Pod 之前，它前面的所有 Pod 必須是 Running 和 Ready 狀態。
• 在 Pod 終止之前，所有的繼任者必須完全關閉。

StatefulSet 不應將 pod.Spec.TerminationGracePeriodSeconds 設定為 0。這種做法是不安全的，要強烈阻止。

在下面的 nginx 示例被建立後，會按照 web-0、web-1、web-2 的順序部署三個 Pod。在 web-0 進入 Running 和 Ready 狀態前不會部署 web-1。在 web-1 進入 Running 和 Ready 狀態前不會部署 web-2。

如果 web-1 已經處於 Running 和 Ready 狀態，而 web-2 尚未部署，在此期間發生了 web-0 執行失敗，那麼 web-2 將不會被部署，要等到 web-0 部署完成並進入 Running 和 Ready 狀態後，才會部署 web-2。

如果想將示例中的 StatefulSet 收縮為 replicas=1，首先被終止的是 web-2。在 web-2 沒有被完全停止和刪除前，web-1 不會被終止。當 web-2 已被終止和刪除；但web-1 尚未被終止，如果在此期間發生 web-0 執行失敗，那麼就不會終止 web-1，必須等到 web-0 進入 Running 和 Ready 狀態後才會終止 web-1。

StatefulSet示例

說明：本次示例不涉及儲存，StatefulSet的儲存示例會在「Kubernetes K8S之儲存PV-PVC詳解」文章中演示。

yaml檔案

 1 [root@k8s-master controller]# pwd
 2 /root/k8s_practice/controller
 3 [root@k8s-master controller]# cat statefulset.yaml 
 4 apiVersion: v1
 5 kind: Service
 6 metadata:
 7   name: nginx
 8   labels:
 9     app: nginx
10 spec:
11   ports:
12   - port: 80
13     name: http
14   clusterIP: None
15   selector:
16     app: nginx
17 ---
18 apiVersion: apps/v1
19 kind: StatefulSet
20 metadata:
21   name: web
22 spec:
23   selector:
24     matchLabels:
25       app: nginx # has to match .spec.template.metadata.labels
26   serviceName: "nginx"
27   replicas: 3 # by default is 1
28   template:
29     metadata:
30       labels:
31         app: nginx # has to match .spec.selector.matchLabels
32     spec:
33       terminationGracePeriodSeconds: 10   # 預設30秒
34       containers:
35       - name: nginx
36         image: registry.cn-beijing.aliyuncs.com/google_registry/nginx:1.17
37         ports:
38         - containerPort: 80
39           name: http

啟動StatefulSet和Service，並檢視狀態

 1 [root@k8s-master controller]# kubectl apply -f statefulset.yaml 
 2 service/nginx created
 3 statefulset.apps/web created
 4 [root@k8s-master controller]# kubectl get service -o wide
 5 NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE   SELECTOR
 6 kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   17d   <none>
 7 nginx        ClusterIP   None         <none>        80/TCP    87s   app=nginx
 8 [root@k8s-master controller]# 
 9 [root@k8s-master controller]# kubectl get statefulset -o wide
10 NAME   READY   AGE   CONTAINERS   IMAGES
11 web    3/3     15m   nginx        registry.cn-beijing.aliyuncs.com/google_registry/nginx:1.17
12 [root@k8s-master controller]# 
13 [root@k8s-master controller]# kubectl get pod -o wide
14 NAME    READY   STATUS    RESTARTS   AGE   IP             NODE         NOMINATED NODE   READINESS GATES
15 web-0   1/1     Running   0          16m   10.244.2.95    k8s-node02   <none>           <none>
16 web-1   1/1     Running   0          16m   10.244.3.103   k8s-node01   <none>           <none>
17 web-2   1/1     Running   0          16m   10.244.3.104   k8s-node01   <none>           <none>

由上可見，StatefulSet 中的pod是有序的。有N個副本，那麼序列號為0~(N-1)。

檢視StatefulSet相關的域名資訊

啟動一個pod

 1 [root@k8s-master test]# pwd
 2 /root/k8s_practice/test
 3 [root@k8s-master test]# cat myapp_demo.yaml 
 4 apiVersion: v1
 5 kind: Pod
 6 metadata:
 7   name: myapp-demo
 8   namespace: default
 9   labels:
10     k8s-app: myapp
11 spec:
12   containers:
13   - name: myapp
14     image: registry.cn-beijing.aliyuncs.com/google_registry/myapp:v1
15     imagePullPolicy: IfNotPresent
16     ports:
17     - name: httpd
18       containerPort: 80
19       protocol: TCP
20 [root@k8s-master test]# 
21 [root@k8s-master test]# kubectl apply -f myapp_demo.yaml
22 pod/myapp-demo created
23 [root@k8s-master test]# 
24 [root@k8s-master test]# kubectl get pod -o wide | grep 'myapp'
25 myapp-demo   1/1     Running   0          3m24s   10.244.2.101   k8s-node02   <none>           <none>

進入pod並檢視StatefulSet域名資訊

 1 # 進入一個k8s管理的myapp映象容器。
 2 [root@k8s-master test]# kubectl exec -it myapp-demo sh
 3 / # nslookup 10.244.2.95
 4 nslookup: can't resolve '(null)': Name does not resolve
 5 
 6 Name:      10.244.2.95
 7 Address 1: 10.244.2.95 web-0.nginx.default.svc.cluster.local
 8 / # 
 9 / # 
10 / # nslookup 10.244.3.103
11 nslookup: can't resolve '(null)': Name does not resolve
12 
13 Name:      10.244.3.103
14 Address 1: 10.244.3.103 web-1.nginx.default.svc.cluster.local
15 / # 
16 / # 
17 / # nslookup 10.244.3.104
18 nslookup: can't resolve '(null)': Name does not resolve
19 
20 Name:      10.244.3.104
21 Address 1: 10.244.3.104 web-2.nginx.default.svc.cluster.local
22 / # 
23 / # 
24 ##### nginx.default.svc.cluster.local   為service的域名資訊
25 / # nslookup nginx.default.svc.cluster.local
26 nslookup: can't resolve '(null)': Name does not resolve
27 
28 Name:      nginx.default.svc.cluster.local
29 Address 1: 10.244.3.104 web-2.nginx.default.svc.cluster.local
30 Address 2: 10.244.3.103 web-1.nginx.default.svc.cluster.local
31 Address 3: 10.244.2.95 web-0.nginx.default.svc.cluster.local

StatefulSet網路標識與PVC

有上文可得如下資訊：

1、匹配StatefulSet的Pod name(網路標識)的模式為：$(statefulset名稱)-$(序號)，比如StatefulSet名稱為web，副本數為3。則為：web-0、web-1、web-2

2、StatefulSet為每個Pod副本建立了一個DNS域名，這個域名的格式為：$(podname).(headless service name)，也就意味著服務之間是通過Pod域名來通訊而非Pod IP。當Pod所在Node發生故障時，Pod會被漂移到其他Node上，Pod IP會發生改變，但Pod域名不會變化

3、StatefulSet使用Headless服務來控制Pod的域名，這個Headless服務域名的為：$(service name).$(namespace).svc.cluster.local，其中 cluster.local 指定的叢集的域名

4、根據volumeClaimTemplates，為每個Pod建立一個PVC，PVC的命令規則為：$(volumeClaimTemplates name)-$(pod name)，比如volumeClaimTemplates為www，pod name為web-0、web-1、web-2；那麼創建出來的PVC為：www-web-0、www-web-1、www-web-2

5、刪除Pod不會刪除對應的PVC，手動刪除PVC將自動釋放PV。

相關閱讀

1、Kubernetes K8S之資源控制器RC、RS、Deployment詳解

完畢！

———END———
如果覺得不錯就關注下唄 (-^O^-) ！

&n