2. 程式人生 > >Kubernetes 1.6高可用詳細部署流程

Kubernetes 1.6高可用詳細部署流程

阿新 • • 發佈：2019-01-01

本文為了更好的表達，能讓更多的人瞭解各方面的技術，因此在寫的時候會不時的說一說基礎的知識，也會不時的重複一些重點知識。為此，如果影響到閱讀，實在是沒有辦法。

當然，如果只是想快速的把k8s部署到虛擬機器上，只是測試一下效能，那麼，此文可能不適合你的閱讀。因為可以要花不少時間才可以完成。

由於本文涉及的內容比較多，因此劃分為多篇寫。

本文使用的程式碼有很多是來自github，所以，出了問題可以留言，也可以自己到github上面留言。

為了你查閱方便，本文也會把相應的程式碼歸類放到github上。

*時，本人也重新開安裝的虛擬機器，所以，所有的安裝流程都是一步一步的進行，所以，在閱讀時不需要考慮整體的結構。 而整體的結構，也會在以下某一節中詳細說明。

這個會在最後寫

0.0 架構介紹

在本節中，我們會談論到我們要怎麼實現的目標，也就是我們要把k8s配置成什麼樣子。並且我們需要準備多少臺伺服器（當然，也可以是虛擬機器）。
並且，我們需要使用的軟體。

  1. 伺服器
    haproxy ——- 2臺
    k8smaster ——- 2臺
    ETCD ——- 3臺
    k8snode ——- 3臺，也可以是n臺。
    一共 十 臺伺服器。也可以把ETCD放到k8smaster，在這個文件中，我們會單獨建立ETCD叢集。

  2. IP規劃
    2.1 master
    k8smaster01 —– 192.168.123.180
    k8smaster02 —– 192.168.123.181

    2.2 nodes
    k8snode01 —– 192.168.123.190
    k8snode02 —– 192.168.123.191
    k8snode03 —– 192.168.123.192

    2.3 haproxy
    haproxy01 —– 192.168.123.200
    haproxy02 —– 192.168.123.201
    k8smasterVIP —– 192.168.123.210 —>這個是虛擬IP地址
    NodesVIP —– 192.168.123.211 —>這個是虛擬IP地址
    2.3 ETCD
    etcd01 —— 192.168.123.220
    etcd02 —— 192.168.123.221
    etcd02 —— 192.168.123.222
    基於以上IP地址：
    我們會在k8smaster上面安裝api。然後通過haproxy和keepalive做高可用。然後我們會在k8snode上面寫安裝ingress，用於服務訪問，所有的ingress會通過haproxy和keepalive做高可用。然後，我們也會講到如果增加節點。

  3. 軟體介紹
    Centos 7
    Docker
    keepalive
    haproxy
    kubernetes 1.6
    暫時我們會列出這些，主要現在也記不住版本。我們會在安裝過程中詳細說明。
    基於以上IP地址：
    我們會在k8smaster上面安裝api。然後通過haproxy和keepalive做高可用。然後我們會在k8snode上面寫安裝ingress，用於服務訪問，所有的ingress會通過haproxy和keepalive做高可用。然後，我們也會講到如果增加節點。

  4. 拓撲結構

這裡寫圖片描述

實話這圖看起來真心有點亂，不過相對於網上的抽象圖，應該更直觀一些。如果對圖存在疑問，不用擔心。在此圖上面都標註了IP地址。在隨後的章節中，我們會詳細的談論這些。

當然，此圖並沒有標註的非常詳細。比如flanneld就沒有寫出來。我們在看時，只需要根據結構有一個大概的映像就好。

1.左右結構
2.上中下結構

1.0 環境配置

安裝作業系統Centos 7。檢視核心版本。

[[email protected] ~]# uname -a 
Linux localhost.localdomain 3.10.0-514.16.1.el7.x86_64 #1 SMP Wed Apr 12 15:04:24 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux

升級作業系統到最新,以下的命令可以要執行一會，看你的網路速度。

update -y

升級完成後，看下版本：

[[email protected] yum.repos.d]# uname -r
3.10.0-514.16.1.el7.x86_64

在執行的時候，我們來看下ETCD相關的資訊。

2.0 ETCD高可用配置

在配置前，我們可以看下在 0.0 中的拓撲圖，在這個圖的右上方ETCD叢集，IP地址如下：

etcd01 —— 192.168.123.220
etcd02 —— 192.168.123.221
etcd02 —— 192.168.123.222

現在我們首先這配置這三臺伺服器。
不要急著進行操作，首先了解一下ETCD的相關資訊。請看下面一段話：（不是我寫的，從網上抄過來的，不想看直接跳過）
ETCD是一個分散式的，一致的 key-value 儲存，主要用途是共享配置和服務發現。Etcd 已經在很多分散式系統中得到廣泛的使用。所有的分散式系統，都面臨的一個問題是多個節點之間的資料共享問題，這個和團隊協作的道理是一樣的，成員可以分頭幹活，但總是需要共享一些必須的資訊，比如誰是 leader， 都有哪些成員，依賴任務之間的順序協調等。所以分散式系統要麼自己實現一個可靠的共享儲存來同步資訊（比如 Elasticsearch ），要麼依賴一個可靠的共享儲存服務，而 Etcd 就是這樣一個服務。
* 提供儲存以及獲取資料的介面，它通過協議保證 Etcd 叢集中的多個節點資料的強一致性。用於儲存元資訊以及共享配置。
* 提供監聽機制，客戶端可以監聽某個key或者某些key的變更（v2和v3的機制不同，參看後面文章）。用於監聽和推送變更。
* 提供key的過期以及續約機制，客戶端通過定時重新整理來實現續約（v2和v3的實現機制也不一樣）。用於叢集監控以及服務註冊發現。
* 提供原子的CAS（Compare-and-Swap）和 CAD（Compare-and-Delete）支援（v2通過介面引數實現，v3通過批量事務實現）。用於分散式鎖以及leader選舉。

迴歸正題

2.1 修改hosts檔案
我們按照這個對應修改
etcd01 —— 192.168.123.220
etcd02 —— 192.168.123.221
etcd02 —— 192.168.123.222
檢視/etc/hosts

[root@localhost ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain
192.168.123.220 etcd01
192.168.123.221 etcd02
192.168.123.222 etcd03

確保
192.168.123.220
192.168.123.221
192.168.123.222
三臺伺服器的/etc/hosts檔案相同

2.2 修改主機名
在192.168.123.220中執行：

hostnamectl set-hostname etcd01

在192.168.123.221中執行：

hostnamectl set-hostname etcd02

在192.168.123.222中執行：

hostnamectl set-hostname etcd03

以上執行完後，重新登入一下終端，命令列前面的提示符就會改成剛剛修改的主機名。

2.3 TLS 認證檔案建立

在這裡，我們使用到的證書有ca.pem, etcd-key.pem, etcd.pem三個證書。接下來，我們一起建立這三個證書。

2.3.1 安裝CFSSL
* 安裝wget下載工作
yum install -y wget
* 建立 /root/cfssl目錄(這裡是使用root帳號登入，因此就在root目錄中，寫全路徑是為了不讓你不產生路徑上面的混亂。）

mkdir /root/cfssl

* 下載CFSSL執行檔案

   wget -O cfssl https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
   wget -O cfssljson https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
   wget -O cfssl-certinfo https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64

  • 檢視下載目錄有以下檔案

    [root@etcd01 cfssl]# ls
cfssl  cfssl-certinfo  cfssljson

    • 把cfssl的目錄/root/cfssl加到環境變數中

      export PATH=/root/cfssl:$PATH

    • 建立CA配置檔案

    • 增加可執行許可權

chmod +x cfssl*
  • 建立證書目錄
mkdir /root/ssl
cd /root/ssl
  • 生成預設的證書配置檔案
cfssl print-defaults config > ca-config.json
 cfssl print-defaults csr > ca-csr.json

config.json內容如下：

[root@etcd01 ssl]# cat ca-config.json 
{
    "signing": {
        "default": {
            "expiry": "168h"
        },
        "profiles": {
            "www": {
                "expiry": "8760h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "server auth"
                ]
            },
            "client": {
                "expiry": "8760h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "client auth"
                ]
            }
        }
    }
}


[root@etcd01 ssl]# cat ca-csr.json 
{
    "CN": "example.net",
    "hosts": [
        "example.net",
        "www.example.net"
    ],
    "key": {
        "algo": "ecdsa",
        "size": 256
    },
    "names": [
        {
            "C": "US",
            "L": "CA",
            "ST": "San Francisco"
        }
    ]
}

接下來，我們需要修改這兩個配置檔案。
首先，我們來修改ca-config.json
“`
{
“signing”: {
“default”: {
“expiry”: “168h”
},
“profiles”: {
“www”: {
“expiry”: “8760h”,
“usages”: [
“signing”,
“key encipherment”,
“server auth”
]
},
“client”: {
“expiry”: “8760h”,
“usages”: [
“signing”,
“key encipherment”,
“client auth”
]
}
}
}
}

“`

未完續待,正在編寫2017.06.16

1.0 環境準備

本節主要介紹安裝環境，以及安裝環境的簡單配置。
這裡，你需要注意： 這時的環境為測試環境，如果你要將K8s部署到生產環境，那麼，這裡可能沒有寫的這樣簡單，當然，我也喜歡在後面的文章中能把此處補充的更為詳細，更接近於生產環境。
本文使用的作業系統為CentOS。隨後，如果時間允許，也會在ubuntu上進行部署和測試。如果寫完的話，那麼這裡可能會多一個連線。
虛擬機器安裝地址：http://blog.csdn.net/wenwst/article/details/72477444
現在這篇接虛擬機器安裝地址。

1.1 作業系統

  • CentOS 7
    檢視核心資訊
[[email protected] ~]# uname -a
Linux localhost.localdomain 3.10.0-327.el7.x86_64 #1 SMP Thu Nov 19 22:10:57 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux
  • 系統更新
yum update -y

完成後，檢視核心版本

uname -a
Linux localhost.localdomain 3.10.0-514.16.1.el7.x86_64 #1 SMP Wed Apr 12 15:04:24 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
  • 關閉防火牆
systemctl stop firewalld
systemctl disable firewalld

確認是否關閉

[[email protected] ~]# iptables -L
Chain INPUT (policy ACCEPT)
target     prot opt source               destination         

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination         

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
  • 關閉Selinux
[[email protected] ~]# cat /etc/selinux/config 

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
#SELINUX=enforcing
# SELINUXTYPE= can take one of three two values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected. 
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted
  • 檢視網絡卡資訊
[root@localhost ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eno16777736: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:40:ce:2c brd ff:ff:ff:ff:ff:ff
    inet 192.168.123.159/24 brd 192.168.123.255 scope global dynamic eno16777736
       valid_lft 1413sec preferred_lft 1413sec
    inet6 fe80::20c:29ff:fe40:ce2c/64 scope link 
       valid_lft forever preferred_lft forever
  • 配置檔案/etc/hosts
    這裡增加幾個hosts檔案，用於提高下載速度。在後面的配置中， 我們還會再配置一次/etc/hosts。
[[email protected] etc]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
61.91.161.217 gcr.io
61.91.161.217 www.gcr.io
162.242.195.84 index.docker.io
162.242.195.84 www.docker.io
162.242.195.84 registry-1.docker.io

以上部分我們對剛安裝的系統進行了最簡單的配置。接下來，我們通過相同的方式準備三臺伺服器。

2.0 配置ETCD高可用叢集##

在上一個步驟中，我們暫時準備了三臺伺服器。現在我們針對這三臺伺服器做ETCD高可用叢集。

2.1 ETCD伺服器IP地址

剛才我們準備的三臺伺服器詳細資訊如下：

192.168.123.159
192.168.123.160
192.168.123.161

接下來我們會在這三臺伺服器中安裝ETCD高可用叢集。

2.1 配置hosts

此部分在剛剛準備的三臺伺服器中都要執行

我們把以下資訊寫入到/etc/hosts中：

192.168.123.159  k8s01
192.168.123.160  k8s02
192.168.123.161  k8s03

完成以後，在三臺伺服器中執行命令，檢查

[[email protected] ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.123.159  k8s01
192.168.123.160  k8s02
192.168.123.161  k8s03


61.91.161.217 gcr.io
61.91.161.217 www.gcr.io
162.242.195.84 index.docker.io
162.242.195.84 www.docker.io
162.242.195.84 registry-1.docker.io

2.2 配置主機名

此部分在剛剛準備的三臺伺服器中都要執行

然後在k8s01中執行

hostnamectl set-hostname k8s01
hostname

然後在k8s01中執行

hostnamectl set-hostname k8s02
hostname

然後在k8s01中執行

hostnamectl set-hostname k8s03
hostname

2.3 ETCD證書生成

ETCD使用的證書有以下幾個：

ca.pem
kubernetes-key.pem
kubernetes.pem

我們通過CFSSL生成這些證書！

這裡的操作只需要在一臺伺服器上面操作，現在我們是在k8s01上面

  • 安裝wget
yum install -y wget

當前我們工作的目錄如下：

[root@k8s01 ssl]# pwd
/root
  • 下載CFSS
 mkdir /root/ssl
 cd /root/ssl
 wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
 wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
 wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64

目錄中檔案如下

[root@k8s01 ssl]# pwd
/root/ssl
[root@k8s01 ssl]# ls
cfssl-certinfo_linux-amd64  cfssljson_linux-amd64  cfssl_linux-amd64

修改cfssl檔名。

mv cfssl-certinfo_linux-amd64 cfssl-certinfo
mv cfssljson_linux-amd64 cfssljson
mv cfssl_linux-amd64 cfssl

增加可執行許可權

chmod +x cfssl-certinfo cfssljson cfssl

修改完後文件名如下：

[root@k8s01 ssl]# ls
cfssl  cfssl-certinfo  cfssljson

將當前目錄加到環境變數中

[root@k8s01 ssl]# export PATH=/root/ssl:$PATH
  • 建立CA
    建立CA配置檔案

建立證書目錄
[[email protected] ssl]# mkdir /opt/ssl
[[email protected] ssl]# cd /opt/ssl/
[[email protected] ssl]# cfssl print-defaults config > config.json
Segmentation fault

在安裝中出現的問題

  • Segmentation fault
[root@k8s01 ssl]# cfssl print-defaults config > config.json
Segmentation fault

可能是寫載檔案出現了問題，重新下載相應的檔案。

相關推薦

Kubernetes 1.6高可用詳細部署流程

本文為了更好的表達，能讓更多的人瞭解各方面的技術，因此在寫的時候會不時的說一說基礎的知識，也會不時的重複一些重點知識。為此，如果影響到閱讀，實在是沒有辦法。 當然，如果只是想快速的把k8s部署到虛擬機器上，只是測試一下效能，那麼，此文可能不適合你的閱讀。因為可

kubernetes 1.8 高可用安裝（五）

k8s 1.8 calico 網絡5安裝網絡組件calico安裝前需要確認kubelet配置是否已經增加--network-plugin=cni如果沒有配置就加到kubelet配置文件裏Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-

kubernetes 1.6.2部署

kubenetes docker 部署環境服務器：騰訊雲操作系統版本：centos 7.21、修改系統配置：[[email protected]/* */~]# cat /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables=

redis-3.0.1 sentinel 主從高可用 詳細配置

最近專案上線部署，要求redis作高可用，由於redis cluster還不是特別成熟，就選擇了redis sentinel做高可用。redis本身有replication，實現主從備份。結合sentinel可以做主、從自動切換。 生產環境中，一般要求有3個r

Hadoop-2.7.6雙namenode配置搭建（HA）高可用叢集部署教程

配置雙namenode的目的就是為了防錯，防止一個namenode掛掉資料丟失，具體原理本文不詳細講解，這裡只說明具體的安裝過程。Hadoop HA的搭建是基於Zookeeper的，關於Zookeeper的搭建可以檢視這裡 hadoop、zookeeper、hbase、spa

MYSQL雙主高可用方案部署實例

tro dmi admin route pts service firewall oop sql king01與king02互為master-slave[root@king01 ~]# mysql -uroot -pabcd.1234mysql> show slave

Exchange 2013系列之六：郵箱高可用DAG部署

Exchange AD Windows Server 數據庫可用性組 (DAG) 是內置於 Microsoft Exchange Server中的高可用性和站點恢復框架的基礎組件。DAG 是一組郵箱服務器（最多可包含 16 個郵箱服務器），其中承載了一組數據庫，可提供從影響單個服務器或數據庫的故障

Jumpserver雙機高可用環境部署筆記

inotify head LG end sts 時間 x11 註意 dex 之前在IDC部署了Jumpserver堡壘機環境，作為登陸線上服務器的統一入口。後面運行一段時間後，發現Jumpserver服務器的CPU負載使用率高達80%以上，主要是python程序對CPU的消

Redis+Keepalived高可用環境部署記錄

db文件 做了 ini 一個 keepalive red off -o BE Keepalived 實現VRRP（虛擬路由冗余）協議，從路由級別實現VIP切換，可以完全避免類似heartbeat腦裂問題，可以很好的實現主從、主備、互備方案，尤其是無狀態業務，有狀態業務就

LVS + Keepalived 高可用群集部署

ipv ipvsadm p地址 netmask ask src centos7 sha 判斷 簡介：keepalived是專門針對LVS設計的一款強大的輔助工具，主要用來提供故障切換（Failover）和健康檢查（Health Checking）功能——判斷LVS負載調度

MySQL+MMM 高可用叢集部署（一）

一、MMM的功能特點 MMM 即（Master-Master replication manager for MySQL）的簡稱，它是一套支援雙主故障切換和雙主日常管理的指令碼程式，而MMM是用 Perl 語言所開發，其主要功能是： 第一、用來監控和管理 MySQL 資料庫 主主複製（Master-M

MySQL+MMM 高可用叢集部署（二）

接上期，MySQL主從同步我們已經部署完成，接下來，我們開始部署本期的核心---MMM高可用叢集 四、MMM高可用叢集部署     1、安裝依賴包     由於mmm 是用perl語言寫的指令碼程式，因此需要在5臺伺

RabbitMQ高可用叢集部署及配置+HAproxy負載（原始碼）

1.環境 rabbitmq-1 10.24.43.4 centos6.x rabbitmq-2 10.24.43.5 centos6.x 2.

（十）RabbitMQ訊息佇列-高可用叢集部署實戰

前幾章講到RabbitMQ單主機模式的搭建和使用，我們在實際生產環境中出於對效能還有可用性的考慮會採用叢集的模式來部署RabbitMQ。 RabbitMQ叢集基本概念 Rabbit模式大概分為以下三種：單主機模式、普通叢集模式、映象叢集模式。 單主機模式：

SpringCloud元件：Eureka高可用叢集部署

高可用叢集部署 Eureka 服務註冊中心。 構建專案 使用 idea 開發工具建立一個 SpringBoot 專案，新增 Eureka Server 依賴即可， pom.xml 配置檔案如下所示： .

Kubernetes 1.6新特性系列

導讀： Dynamic Provisioning的目標是完全自動化儲存資源的生命週期管理，讓使用者無需過多的關注儲存的管理，可以按需求自動動態建立和調整儲存資源。StorageClass本質上是底層儲存介質的抽象：不同的儲存介質擁有統一的表示和行為。 作者注：這是五天深入理解Kubernete

iOS 從0到1搭建高可用App框架（二）

前言： 本文是繼《iOS 從0到1搭建高可用App框架》之後，通過專案實踐以及同行交流思考總結出來的一些新的架構思想，但初心仍不變，目的為搭建高可用App框架，保持框架底層健壯的同時讓程式碼更清晰，為後期頂層業務開發時，避免出現風格迥異的程式碼。 架構圖： 架構圖 效果

kubeadm 安裝 Kubernetes 1.6.2 過程中的一些坑_Kubernetes中文社群

因為一些莫可名狀的原因，國內網路使用 Kubeadm 頗有難度，這裡大概說一下過程中的一些坑。 1/4 準備工作 這裡用包管理的方式安裝 kubeadm、Docker 等元件。需要注意一點點的是，如果用的非 Root 使用者，要注意 sudo 的時候的環境代理設定問題。或者乾脆在 apt/y

跨叢集服務 實現Kubernetes應用的高可用_Kubernetes中文社群

我們在進行生產環境部署時得到的一個明確的需求，是Kubernetes使用者希望服務部署能夠zone、跨區域、跨叢集甚至跨雲邊界（譯者：如跨雲供應商）。相比單叢集多zone部署，跨叢集服務提供按地域分佈，支援混合雲、多雲場景，提升高可用等級。客戶希望服務能夠跨一到多個叢集（可能是本地或者遠端叢集

離線安裝 k8s 1.5 高可用叢集_Kubernetes中文社群

經常遇到全新初始安裝k8s叢集的問題，所以想著搞成離線模式，本著最小依賴原則，採用純shell指令碼編寫 基於Centos7-1503-minimal執行指令碼測試OK， 預設安裝docker1.12.3 etcd-v3.0.15 k8s-v1.5.1 本離線安裝所有的依賴都打包放到了百度網盤