kubeadm安裝的集群，默認etcd是一個單機的容器化的etcd，並且k8s和etcd通信沒有經過ssl加密和認證，這點是需要改造的。
所以首先我們需要先部署一個三節點的etcd集群，二進制部署，systemd守護進程，並且需要生成ca證書

ETCD集群詳情

master上搭建

創建相關目錄

mkdir -p /data/etcd  # etcd數據目錄
mkdir -p /opt/kubernetes/{bin,conf,ssl}
 

創建證書

創建 CA 證書和秘鑰

本文檔使用 CloudFlare 的 PKI 工具集 cfssl 來生成 Certificate Authority (CA) 證書和秘鑰文件，CA 是自簽名的證書，用來簽名後續創建的其它 TLS 證書
安裝工具
如果不希望將cfssl工具安裝到部署主機上，可以在其他的主機上進行該步驟，生成以後將證書拷貝到部署etcd的主機上即可。本教程就是采取這種方法，在一臺測試機上執行下面操作

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
chmod +x cfssl_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
chmod +x cfssljson_linux-amd64
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl-certinfo_linux-amd64
mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo
 

生成ETCD的TLS 秘鑰和證書
為了保證通信安全，客戶端(如 etcdctl) 與 etcd 集群、etcd 集群之間的通信需要使用 TLS 加密，本節創建 etcd TLS 加密所需的證書和私鑰。

創建CA證書

CA配置文件

cat >  ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "8760h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "8760h"
      }
    }
  }
}
EOF
 

ca-config.json：可以定義多個 profiles，分別指定不同的過期時間、使用場景等參數；後續在簽名證書時使用某個 profile；
signing：表示該證書可用於簽名其它證書；生成的 ca.pem 證書中 CA=TRUE；
server auth：表示 client 可以用該 CA 對 server 提供的證書進行驗證；
client auth：表示 server 可以用該 CA 對 client 提供的證書進行驗證

CA簽名請求文件

cat >  ca-csr.json <<EOF
{
  "CN": "kubernetes",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

"CN"：Common Name，kube-apiserver 從證書中提取該字段作為請求的用戶名 (User Name)；瀏覽器使用該字段驗證網站是否合法；
"O"：Organization，kube-apiserver 從證書中提取該字段作為請求用戶所屬的組 (Group)；

生成 CA 證書和私鑰：

cfssl gencert -initca ca-csr.json | cfssljson -bare ca

這個會在當前目錄下面生成幾個配置文件
ls ca*
ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem

創建etcd證書

etcd證書請求文件

cat > etcd-csr.json <<EOF
{
  "CN": "etcd",
  "hosts": [
    "127.0.0.1",
    "${NODE_IP}"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

hosts 字段指定授權使用該證書的 etcd 節點 IP；
如：

生成 etcd 證書和私鑰：

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes etcd-csr.json | cfssljson -bare etcd

ls etcd*
etcd.csr etcd-csr.json etcd-key.pem etcd.pem ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem

將生成好的etcd.pem和etcd-key.pem以及ca.pem三個文件拷貝到目標主機的/opt/kubernetes/ssl/目錄下。

etcd二進制文件下載安裝

到 https://github.com/coreos/etcd/releases 頁面下載最新版本的二進制文件：

etcd-v3.3.4-linux-amd64.tar.gz
tar xf etcd-v3.3.4-linux-amd64.tar.gz
cp etcd-v3.3.4-linux-amd64/etcd* /opt/kubernetes/bin

創建etcd.service文件

在/usr/lib/systemd/system/下面創建system unit文件，命名為etcd.service

[root@mm etcd]# cat /usr/lib/systemd/system/etcd.service 
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos
[Service]
Type=notify
WorkingDirectory=/data/etcd/
EnvironmentFile=-/opt/kubernetes/conf/etcd.conf
ExecStart=/opt/kubernetes/bin/etcd   --name ${ETCD_NAME}   --cert-file=/opt/kubernetes/ssl/etcd.pem   --key-file=/opt/kubernetes/ssl/etcd-key.pem   --peer-cert-file=/opt/kubernetes/ssl/etcd.pem   --peer-key-file=/opt/kubernetes/ssl/etcd-key.pem   --trusted-ca-file=/opt/kubernetes/ssl/ca.pem   --peer-trusted-ca-file=/opt/kubernetes/ssl/ca.pem   --initial-advertise-peer-urls ${ETCD_INITIAL_ADVERTISE_PEER_URLS}   --listen-peer-urls ${ETCD_LISTEN_PEER_URLS}   --listen-client-urls ${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379   --advertise-client-urls ${ETCD_ADVERTISE_CLIENT_URLS}   --initial-cluster-token ${ETCD_INITIAL_CLUSTER_TOKEN}   --initial-cluster etcd1=https://192.168.56.200:2380,etcd2=https://192.168.56.201:2380,etcd3=https://192.168.56.202:2380   --initial-cluster-state new   --data-dir=${ETCD_DATA_DIR}
Restart=on-failure
RestartSec=5
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target

指定 etcd 的工作目錄和數據目錄為 /var/lib/etcd，需在啟動服務前創建這個目錄；
為了保證通信安全，需要指定 etcd 的公私鑰(cert-file和key-file)、Peers 通信的公私鑰和 CA 證書(peer-cert-file、peer-key-file、peer-trusted-ca-file)、客戶端的CA證書（trusted-ca-file）；
--initial-cluster-state 值為 new 時，--name 的參數值必須位於 --initial-cluster 列表中；

創建環境變量

創建配置文件conf

[root@mm ~]# cat /opt/kubernetes/conf/etcd.conf 
# [member]
ETCD_NAME=etcd1
ETCD_DATA_DIR="/data/etcd/"
ETCD_LISTEN_PEER_URLS="https://192.168.56.200:2380" # 地址修改為當前服務器地址，下面同此
ETCD_LISTEN_CLIENT_URLS="https://192.168.56.200:2379"
#[cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.56.200:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.56.200:2379"

啟動etcd服務

systemctl daemon-reload
systemctl enable etcd
systemctl start etcd

其他節點配置

把/opt/kubernetes下面的所有文件拷貝到其他node上就可以

拷貝完成後，修改配置文件etcd.conf中的名字etc2,etcd3

集群的查看

[root@mm etcd]# etcdctl --ca-file=ca.pem --cert-file=etcd.pem --key-file=etcd-key.pem cluster-health
member 152709b7f8cbe7c0 is healthy: got healthy result from https://192.168.56.200:2379
member 8c78d744f172cba9 is healthy: got healthy result from https://192.168.56.202:2379
member bdc976e03235ad9b is healthy: got healthy result from https://192.168.56.201:2379

這裏需要指定證書文件

k8s之二進制安裝etcd集群