K8s-api-server.06-2
阿新 • • 發佈：2019-01-03
內容轉載自：https://github.com/opsnull/follow-me-install-kubernetes-cluster/blob/master/06-2.api-server.md
06-2.部署 kube-apiserver 元件
本文件講解使用 keepalived 和 haproxy 部署一個 3 節點高可用 master 叢集的步驟，對應的 LB VIP 為環境變數 ${MASTER_VIP}。
準備工作
下載最新版本的二進位制檔案、安裝和配置 flanneld 參考：K8s-部署master節點.06
建立 kubernetes 證書和私鑰
建立證書籤名請求：
source /opt/k8s/bin/environment.sh cat > kubernetes-csr.json <<EOF { "CN": "kubernetes", "hosts": [ "127.0.0.1", "172.27.129.101", "172.27.129.102", "172.27.129.103", "${MASTER_VIP}", "${CLUSTER_KUBERNETES_SVC_IP}", "kubernetes", "kubernetes.default", "kubernetes.default.svc", "kubernetes.default.svc.cluster", "kubernetes.default.svc.cluster.local" ], "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "ST": "BeiJing", "L": "BeiJing", "O": "k8s", "OU": "4Paradigm" } ] } EOF
-
hosts 欄位指定授權使用該證書的 IP 或域名列表，這裡列出了 VIP 、apiserver 節點 IP、kubernetes 服務 IP 和域名；
-
域名最後字元不能是
.(如不能為kubernetes.default.svc.cluster.local.)，否則解析時失敗，提示：x509: cannot parse dnsName "kubernetes.default.svc.cluster.local."； -
如果使用非
cluster.local域名，如opsnull.com，則需要修改域名列表中的最後兩個域名為：kubernetes.default.svc.opsnull、kubernetes.default.svc.opsnull.com -
kubernetes 服務 IP 是 apiserver 自動建立的，一般是
--service-cluster-ip-range引數指定的網段的第一個IP，後續可以通過如下命令獲取：
$ kubectl get svc kubernetes NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes 10.254.0.1 <none> 443/TCP 1d
生成證書和私鑰：
cfssl gencert -ca=/etc/kubernetes/cert/ca.pem \ -ca-key=/etc/kubernetes/cert/ca-key.pem \ -config=/etc/kubernetes/cert/ca-config.json \ -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes ls kubernetes*pem
將生成的證書和私鑰檔案拷貝到 master 節點：
source /opt/k8s/bin/environment.sh
for master_ip in ${MASTER_IP[@]}
do
echo ">>> ${master_ip}"
ssh [email protected]${master_ip} "mkdir -p /etc/kubernetes/cert/ && sudo chown -R k8s /etc/kubernetes/cert/"
scp kubernetes*.pem [email protected]${master_ip}:/etc/kubernetes/cert/
done
- k8s 賬戶可以讀寫 /etc/kubernetes/cert/ 目錄；
建立加密配置檔案
source /opt/k8s/bin/environment.sh
cat > encryption-config.yaml <<EOF
kind: EncryptionConfig
apiVersion: v1
resources:
- resources:
- secrets
providers:
- aescbc:
keys:
- name: key1
secret: ${ENCRYPTION_KEY}
- identity: {}
EOF
將加密配置檔案拷貝到 master 節點的 /etc/kubernetes 目錄下：
source /opt/k8s/bin/environment.sh
for master_ip in ${MASTER_IP[@]}
do
echo ">>> ${master_ip}"
scp encryption-config.yaml [email protected]${master_ip}:/etc/kubernetes/
done
建立 kube-apiserver systemd unit 模板檔案
source /opt/k8s/bin/environment.sh
cat > kube-apiserver.service.template <<EOF
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target
[Service]
ExecStart=/opt/k8s/bin/kube-apiserver \\
--enable-admission-plugins=Initializers,NamespaceLifecycle,NodeRestriction,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota \\
--anonymous-auth=false \\
--experimental-encryption-provider-config=/etc/kubernetes/encryption-config.yaml \\
--advertise-address=##MASTER_IP## \\
--bind-address=##MASTER_IP## \\
--insecure-port=0 \\
--authorization-mode=Node,RBAC \\
--runtime-config=api/all \\
--enable-bootstrap-token-auth \\
--service-cluster-ip-range=${SERVICE_CIDR} \\
--service-node-port-range=${NODE_PORT_RANGE} \\
--tls-cert-file=/etc/kubernetes/cert/kubernetes.pem \\
--tls-private-key-file=/etc/kubernetes/cert/kubernetes-key.pem \\
--client-ca-file=/etc/kubernetes/cert/ca.pem \\
--kubelet-client-certificate=/etc/kubernetes/cert/kubernetes.pem \\
--kubelet-client-key=/etc/kubernetes/cert/kubernetes-key.pem \\
--service-account-key-file=/etc/kubernetes/cert/ca-key.pem \\
--etcd-cafile=/etc/kubernetes/cert/ca.pem \\
--etcd-certfile=/etc/kubernetes/cert/kubernetes.pem \\
--etcd-keyfile=/etc/kubernetes/cert/kubernetes-key.pem \\
--etcd-servers=${ETCD_ENDPOINTS} \\
--enable-swagger-ui=true \\
--allow-privileged=true \\
--apiserver-count=3 \\
--audit-log-maxage=30 \\
--audit-log-maxbackup=3 \\
--audit-log-maxsize=100 \\
--audit-log-path=/var/log/kube-apiserver-audit.log \\
--event-ttl=1h \\
--alsologtostderr=true \\
--logtostderr=false \\
--log-dir=/var/log/kubernetes \\
--v=2
Restart=on-failure
RestartSec=5
Type=notify
User=k8s
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF
--experimental-encryption-provider-config：啟用加密特性；--authorization-mode=Node,RBAC： 開啟 Node 和 RBAC 授權模式，拒絕未授權的請求；--enable-admission-plugins：啟用ServiceAccount和NodeRestriction；--service-account-key-file：簽名 ServiceAccount Token 的公鑰檔案，kube-controller-manager 的--service-account-private-key-file指定私鑰檔案，兩者配對使用；--tls-*-file：指定 apiserver 使用的證書、私鑰和 CA 檔案。--client-ca-file用於驗證 client (kue-controller-manager、kube-scheduler、kubelet、kube-proxy 等)請求所帶的證書；--kubelet-client-certificate、--kubelet-client-key：如果指定，則使用 https 訪問 kubelet APIs；需要為證書對應的使用者(上面 kubernetes*.pem 證書的使用者為 kubernetes) 使用者定義 RBAC 規則，否則訪問 kubelet API 時提示未授權；--bind-address： 不能為127.0.0.1，否則外界不能訪問它的安全埠 6443；--insecure-port=0：關閉監聽非安全埠(8080)；--service-cluster-ip-range： 指定 Service Cluster IP 地址段；--service-node-port-range： 指定 NodePort 的埠範圍；--runtime-config=api/all=true： 啟用所有版本的 APIs，如 autoscaling/v2alpha1；--enable-bootstrap-token-auth：啟用 kubelet bootstrap 的 token 認證；--apiserver-count=3：指定叢集執行模式，多臺 kube-apiserver 會通過 leader 選舉產生一個工作節點，其它節點處於阻塞狀態；User=k8s：使用 k8s 賬戶執行；
為各節點建立和分發 kube-apiserver systemd unit 檔案
替換模板檔案中的變數，為各節點建立 systemd unit 檔案：
source /opt/k8s/bin/environment.sh
for (( i=0; i < 3; i++ ))
do
sed -e "s/##MASTER_NAME##/${MASTER_NAMES[i]}/" -e "s/##MASTER_IP##/${MASTER_IP[i]}/" kube-apiserver.service.template > kube-apiserver-${MASTER_IP[i]}.service
done
ls kube-apiserver*.service
- MASTER_NAMES 和 MASTER_IP 為相同長度的 bash 陣列，分別為節點名稱和對應的 IP；
分發生成的 systemd unit 檔案：
source /opt/k8s/bin/environment.sh
for master_ip in ${MASTER_IP[@]}
do
echo ">>> ${master_ip}"
ssh [email protected]${master_ip} "mkdir -p /var/log/kubernetes && chown -R k8s /var/log/kubernetes"
scp kube-apiserver-${master_ip}.service [email protected]${master_ip}:/etc/systemd/system/kube-apiserver.service
done
- 必須先建立日誌目錄；
- 檔案重新命名為 kube-apiserver.service;
啟動 kube-apiserver 服務
source /opt/k8s/bin/environment.sh
for master_ip in ${MASTER_IP[@]}
do
echo ">>> ${master_ip}"
ssh [email protected]${master_ip} "systemctl daemon-reload && systemctl enable kube-apiserver && systemctl restart kube-apiserver"
done
檢查 kube-apiserver 執行狀態
source /opt/k8s/bin/environment.sh
for master_ip in ${MASTER_IP[@]}
do
echo ">>> ${master_ip}"
ssh [email protected]${master_ip} "systemctl status kube-apiserver |grep 'Active:'"
done
確保狀態為 active (running)，否則到 master 節點檢視日誌，確認原因：
journalctl -u kube-apiserver
列印 kube-apiserver 寫入 etcd 的資料
source /opt/k8s/bin/environment.sh
ETCDCTL_API=3 etcdctl \
--endpoints=${ETCD_ENDPOINTS} \
--cacert=/etc/kubernetes/cert/ca.pem \
--cert=/etc/etcd/cert/etcd.pem \
--key=/etc/etcd/cert/etcd-key.pem \
get /registry/ --prefix --keys-only
檢查叢集資訊
$ kubectl cluster-info
Kubernetes master is running at https://172.27.129.253:8443
To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.
$ kubectl get all --all-namespaces
NAMESPACE NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
default service/kubernetes ClusterIP 10.254.0.1 <none> 443/TCP 35m
$ kubectl get componentstatuses
NAME STATUS MESSAGE ERROR
controller-manager Unhealthy Get http://127.0.0.1:10252/healthz: dial tcp 127.0.0.1:10252: getsockopt: connection refused
scheduler Unhealthy Get http://127.0.0.1:10251/healthz: dial tcp 127.0.0.1:10251: getsockopt: connection refused
etcd-1 Healthy {"health":"true"}
etcd-0 Healthy {"health":"true"}
etcd-2 Healthy {"health":"true"}
注意：
-
如果執行 kubectl 命令式時輸出如下錯誤資訊，則說明使用的
~/.kube/config檔案不對，請切換到正確的賬戶後再執行該命令：The connection to the server localhost:8080 was refused - did you specify the right host or port? -
執行
kubectl get componentstatuses命令時，apiserver 預設向 127.0.0.1 傳送請求。當 controller-manager、scheduler 以叢集模式執行時，有可能和 kube-apiserver 不在一臺機器上，這時 controller-manager 或 scheduler 的狀態為 Unhealthy，但實際上它們工作正常。
檢查 kube-apiserver 監聽的埠
$ sudo netstat -lnpt|grep kube tcp 0 0 172.27.129.105:6443 0.0.0.0:* LISTEN 13075/kube-apiserve
- 6443: 接收 https 請求的安全埠，對所有請求做認證和授權；
- 由於關閉了非安全埠，故沒有監聽 8080；
授予 kubernetes 證書訪問 kubelet API 的許可權
在執行 kubectl exec、run、logs 等命令時，apiserver 會轉發到 kubelet。這裡定義 RBAC 規則，授權 apiserver 呼叫 kubelet API。
$ kubectl create clusterrolebinding kube-apiserver:kubelet-apis --clusterrole=system:kubelet-api-admin --user kubernetes
參考
- 關於證書域名最後字元不能是
.的問題，實際和 Go 的版本有關，1.9 不支援這種型別的證書：https://github.com/kubernetes/ingress-nginx/issues/2188