2. 程式人生 > >Centos7.4 Kubernets1.9叢集安裝部署

Centos7.4 Kubernets1.9叢集安裝部署

阿新 • • 發佈：2018-12-03
一、概述

Master元件：

kube-apiserver
Kubernetes API，叢集的統一入口，各元件協調者，以HTTP API提供介面服務，所有物件資源的增刪改查和監聽操作都交給APIServer處理後再提交給Etcd儲存。
kube-controller-manager
處理叢集中常規後臺任務，一個資源對應一個控制器，而ControllerManager就是負責管理這些控制器的。
kube-scheduler
根據排程演算法為新建立的Pod選擇一個Node節點。
Node元件：
kubelet
kubelet是Master在Node節點上的Agent，管理本機執行容器的生命週期，比如建立容器、Pod掛載資料卷、
下載secret、獲取容器和節點狀態等工作。kubelet將每個Pod轉換成一組容器。
kube-proxy
在Node節點上實現Pod網路代理，維護網路規則和四層負載均衡工作。
docker或rocket/rkt
執行容器。

第三方服務：
  etcd 

分散式鍵值儲存系統。用於保持叢集狀態，比如Pod、Service等物件資訊。

架構圖


二、叢集部署-環境規劃

序號 IP 主機名 元件 備註
1 172.16.8.210
  devops-k8s-master  
 kube-apiserver kube-controller-manager kube-scheduler etcd
   
2 172.16.8.211
 devops-k8s-node1 
 kubelet
kube-proxy
docker
flannel
etcd
3 172.16.8.212
 devops-k8s-node2
 kubelet kube-proxy docker flannel
 etcd
軟體版本
序號 軟體 版本 備註
1 作業系統 CentOS Linux release 7.4.1708 (Core) 
2 Kubernetes
 1.9
3 Docker 
 18.03.0-ce
4 Etcd   
 3.0  

三、叢集部署-安裝Docker 
安裝Docker依賴包
yum install -y yum-utils device-mapper-persistent-data lvm2

使用Docker ce的官方源
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum install docker-ce -y

設定開機啟動
systemctl start docker
systemctl enable docker

配置Docker的國內的私有映象

cat << EOF > /etc/docker/daemon.json
{
"registry-mirrors": [ "https://registry.docker-cn.com"]
}
EOF
檢視docker版本系統 
[[email protected] ~]# docker info
Containers: 0
 Running: 0
 Paused: 0
 Stopped: 0
Images: 0
Server Version: 18.03.0-ce
Storage Driver: overlay2
 Backing Filesystem: xfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: cfd04396dc68220d1cecbe686a6cc3aa5ce3667c
runc version: 4fc53a81fb7c994640722ac585fa9ca548971871
init version: 949e6fa
Security Options:
 seccomp
  Profile: default
Kernel Version: 3.10.0-693.el7.x86_64
Operating System: CentOS Linux 7 (Core)
OSType: linux
Architecture: x86_64
CPUs: 2
Total Memory: 1.781GiB
Name: devops-k8s-node1
ID: EG5G:RUCR:B6Q6:WWTE:S5SR:O7WA:HKOP:SC33:YZYB:6IMO:LQSO:E4LD
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): false
Registry: https://index.docker.io/v1/
Labels:
Experimental: false
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

四、叢集部署-部署Etcd叢集

安裝etcd
yum -y install etcd

修改配置檔案
etcd節點1
grep -n '^'[a-Z] /etc/etcd/etcd.conf
1:ETCD_DATA_DIR="/var/lib/etcd/etcd01"
2:ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
3:ETCD_LISTEN_CLIENT_URLS="http://172.16.8.210:2379,http://127.0.0.1:2379"
4:ETCD_NAME="etcd01"
5:ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.16.8.210:2380"
6:ETCD_ADVERTISE_CLIENT_URLS="http://172.16.8.210:2379"
7:ETCD_INITIAL_CLUSTER="etcd01=http://172.16.8.210:2380,etcd02=http://172.16.8.211:2380,etcd03=http://172.16.8.212:2380"
8:ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
9:ETCD_INITIAL_CLUSTER_STATE="new

etcd節點2
grep -n '^'[a-Z] /etc/etcd/etcd.conf
1:ETCD_DATA_DIR="/var/lib/etcd/etcd02"
2:ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
3:ETCD_LISTEN_CLIENT_URLS="http://172.16.8.211:2379"
4:ETCD_NAME="etcd02"
5:ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.16.8.211:2380"
6:ETCD_ADVERTISE_CLIENT_URLS="http://172.16.8.211:2379"
7:ETCD_INITIAL_CLUSTER="etcd01=http://172.16.8.210:2380,etcd02=http://172.16.8.211:2380,etcd03=http://172.16.8.212:2380"
8:ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
9:ETCD_INITIAL_CLUSTER_STATE="new

etcd節點3
grep -n '^'[a-Z] /etc/etcd/etcd.conf
1:ETCD_DATA_DIR="/var/lib/etcd/etcd03"
2:ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
3:ETCD_LISTEN_CLIENT_URLS="http://172.16.8.212:2379"
4:ETCD_NAME="etcd03"
5:ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.16.8.212:2380"
6:ETCD_ADVERTISE_CLIENT_URLS="http://172.16.8.212:2379"
7:ETCD_INITIAL_CLUSTER="etcd01=http://172.16.8.210:2380,etcd02=http://172.16.8.211:2380,etcd03=http://172.16.8.212:2380"
8:ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
9:ETCD_INITIAL_CLUSTER_STATE="new

注意：先啟動etcd節點2,在啟動etcd節點1，有可能會報錯。
systemctl restart etcd.service 
systemctl enable etcd.service

檢視監聽埠
netstat -tnlp |grep etcd
tcp        0      0 172.16.8.210:2379       0.0.0.0:*               LISTEN      2989/etcd           
tcp        0      0 127.0.0.1:2379          0.0.0.0:*               LISTEN      2989/etcd           
tcp6       0      0 :::2380                 :::*                    LISTEN      2989/etcd

五、叢集部署-部署Flannel網路

Flannel是CoreOS團隊針對Kubernetes設計的一個網路規劃服務，簡單來說，它的功能是讓叢集中的不同節點主機建立的Docker容器都具有全叢集唯一的虛擬IP地址。

但在預設的Docker配置中，每個節點上的Docker服務會分別負責所在節點容器的IP分配。這樣導致的一個問題是，不同節點上容器可能獲得相同的內外IP地址。並使
這些容器之間能夠之間通過IP地址相互找到，也就是相互ping通。
   
Flannel的設計目的就是為叢集中的所有節點重新規劃IP地址的使用規則，從而使得不同節點上的容器能夠獲得"同屬一個內網"且"不重複的"IP地址，並讓屬於不同節
點上的容器能夠直接通過內網IP通訊。
   
Flannel實質上是一種"覆蓋網路(overlay network)"，即表示執行在一個網上的網（應用層網路），並不依靠ip地址來傳遞訊息，而是採用一種對映機制，把ip地址和
identifiers做對映來資源定位。也就是將TCP資料包裝在另一種網路包裡面進行路由轉發和通訊，目前已經支援UDP、VxLAN、AWS VPC和GCE路由等資料轉發方式。
   
原理是每個主機配置一個ip段和子網個數。例如，可以配置一個覆蓋網路使用 10.100.0.0/16段，每個主機/24個子網。因此主機a可以接受10.100.5.0/24，主機B可以
接受10.100.18.0/24的包。flannel使用etcd來維護分配的子網到實際的ip地址之間的對映。對於資料路徑，flannel 使用udp來封裝ip資料報，轉發到遠端主機。選擇
UDP作為轉發協議是因為他能穿透防火牆。例如，AWS Classic無法轉發IPoIP or GRE 網路包，是因為它的安全組僅僅支援TCP/UDP/ICMP。
   
flannel 使用etcd儲存配置資料和子網分配資訊。flannel 啟動之後，後臺程序首先檢索配置和正在使用的子網列表，然後選擇一個可用的子網，然後嘗試去註冊它。
etcd也儲存這個每個主機對應的ip。flannel 使用etcd的watch機制監視/coreos.com/network/subnets下面所有元素的變化資訊，並且根據它來維護一個路由表。為了
提高效能，flannel優化了Universal TAP/TUN裝置，對TUN和UDP之間的ip分片做了代理。

1）資料從源容器中發出後，經由所在主機的docker0虛擬網絡卡轉發到flannel0虛擬網絡卡，這是個P2P的虛擬網絡卡，flanneld服務監聽在網絡卡的另外一端。
2）Flannel通過Etcd服務維護了一張節點間的路由表，在稍後的配置部分我們會介紹其中的內容。
3）源主機的flanneld服務將原本的資料內容UDP封裝後根據自己的路由表投遞給目的節點的flanneld服務，資料到達以後被解包，然後直接進入目的節點的flannel0虛擬網絡卡，
然後被轉發到目的主機的docker0虛擬網絡卡，最後就像本機容器通訊一下的有docker0路由到達目標容器。
 
這樣整個資料包的傳遞就完成了，這裡需要解釋三個問題：
1）UDP封裝是怎麼回事？
在UDP的資料內容部分其實是另一個ICMP（也就是ping命令）的資料包。原始資料是在起始節點的Flannel服務上進行UDP封裝的，投遞到目的節點後就被另一端的Flannel服務
還原成了原始的資料包，兩邊的Docker服務都感覺不到這個過程的存在。
 
2）為什麼每個節點上的Docker會使用不同的IP地址段？
這個事情看起來很詭異，但真相十分簡單。其實只是單純的因為Flannel通過Etcd分配了每個節點可用的IP地址段後，偷偷的修改了Docker的啟動引數。
在運行了Flannel服務的節點上可以檢視到Docker服務程序執行引數（ps aux|grep docker|grep "bip"），例如“--bip=182.48.25.1/24”這個引數，它限制了所在節
點容器獲得的IP範圍。這個IP範圍是由Flannel自動分配的，由Flannel通過儲存在Etcd服務中的記錄確保它們不會重複。
 
3）為什麼在傳送節點上的資料會從docker0路由到flannel0虛擬網絡卡，在目的節點會從flannel0路由到docker0虛擬網絡卡？
例如現在有一個數據包要從IP為172.17.18.2的容器發到IP為172.17.46.2的容器。根據資料傳送節點的路由表，它只與172.17.0.0/16匹配這條記錄匹配，因此資料從docker0
出來以後就被投遞到了flannel0。同理在目標節點，由於投遞的地址是一個容器，因此目的地址一定會落在docker0對於的172.17.46.0/24這個記錄上，自然的被投遞到了docker0網絡卡。

在master節點執行

[[email protected] bin]# etcdctl -endpoint="http://172.16.8.210:2379,http://172.16.8.211:2379,http://172.16.8.212:2379" set /coreos.com/network/config  '{ "Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}'
{ "Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}
[[email protected] bin]# etcdctl -endpoint="http://172.16.8.210:2379,http://172.16.8.211:2379,http://172.16.8.212:2379" get /coreos.com/network/config 
{ "Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}

建立目錄
mkdir /opt/kubernetes/{bin,cfg} -p
mkdir /app/tools/ -p

下載flannel安裝
wget https://github.com/coreos/flannel/releases/download/v0.9.1/flannel-v0.9.1-linux-amd64.tar.gz
tar -xvf flannel-v0.9.1-linux-amd64.tar.gz 
mv flanneld mk-docker-opts.sh /opt/kubernetes/bin/

vim /opt/kubernetes/cfg/flanneld
FLANNEL_OPTIONS="--etcd-endpoints=http://172.16.8.210:2379,http://172.16.8.211:2379,http://172.16.8.212:2379" 

編輯啟動etcd檔案
vim  /usr/lib/systemd/system/flanneld.service 
[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
Before=docker.service

[Service]
Type=notify
EnvironmentFile=/opt/kubernetes/cfg/flanneld
ExecStart=/opt/kubernetes/bin/flanneld  $FLANNEL_OPTIONS
ExecStartPost=/opt/kubernetes/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env
Restart=on-failure

[Install]
WantedBy=multi-user.target
RequiredBy=docker.service

啟動etcd
systemctl enable flanneld.service
systemctl start flanneld.service

檢視路由
節點1
route
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         gateway         0.0.0.0         UG    100    0        0 ens32
172.16.8.0      0.0.0.0         255.255.255.0   U     100    0        0 ens32
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
172.17.15.0     172.17.15.0     255.255.255.0   UG    0      0        0 flannel.1
節點2
route
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         gateway         0.0.0.0         UG    100    0        0 ens32
172.16.8.0      0.0.0.0         255.255.255.0   U     100    0        0 ens32
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
172.17.96.0     172.17.96.0     255.255.255.0   UG    0      0        0 flannel.1

相關推薦

Centos7.4 Kubernets1.9叢集安裝部署

一、概述 Master元件： kube-apiserverKubernetes API，叢集的統一入口，各元件協調者，以HTTP API提供介面服務，所有物件資源的增刪改查和監聽操作都交給APIServer處理後再提交給Etcd儲存。kube-controll

Centos7.3Kubernetes叢集安裝部署

•Kubernetes叢集元件:　　- etcd 一個高可用的K/V鍵值對儲存和服務發現系統　　- flannel 實現誇主機的容器網路的通訊　　- kube-apiserver 提供kubernetes叢集的API呼叫　　- kube-controller-manager 確保叢集服務　　-

zookeeper-3.4.9叢集安裝

下載 Centos7 Jdk-1.7 or 1.8 zookeeper3.4.9   主機 cancer03、cancer04、cancer05   上傳zookeeper-3.4.9.tar.gz到cancer03、cancer04、canc

Centos7 下Kubernetes叢集安裝部署

[[email protected] ~]# vi /etc/etcd/etcd.conf #[Member] #ETCD_CORS="" ETCD_DATA_DIR="/var/lib/etcd/default.etcd" #ETCD_WAL_DIR="" ETCD_LISTEN_PEER_UR

rocketmq叢集安裝部署過程（4.0.0版本）、安裝中的常見問題舉例

準備工作： 環境：hadoop11,hadoop12,hadoop13 (Centos6.7) 軟體：rocketmq安裝包（v4.0.0） rocketmq-all-4.0.0-incubating-bin-release.zip 工具：X

centos7.4二進制安裝mysql

同名 權限 所屬組 mys ffd pat tar 直接 庫服務器 1：下載二進制安裝包（安裝時確保沒有mysql數據庫服務器端）： mariadb-10.2.12-linux-x86_64.tar.gz、 mariadb-10.2.12.tar.gz。2：創建系統賬

學習筆記-centos7.4下mysql編譯安裝

word 權限 option bak sta net gem 字符集 sets 編譯安裝MySQL 註釋：編譯mysql的時候會比較耗資源，建議在虛擬機下把內存提升到1-2G MySQL是一個關系型數據庫管理系統，由瑞典MySQL AB 公司開發，目前屬於 Oracle 旗

在CentOS7.4上手動編譯安裝Mysql-5.7.20

charset mysql ans con fix 手動編譯 curses entos all 實驗環境:CentOS 7.4 mysql軟件: mysql-boost-5.7.20.tar.gz 1.安裝編譯工具 yum -y install \ncurses \ncur

CentOS7.4——KVM虛擬化一 安裝配置及基本操作

CentOS7.4—KVM安裝與基本配置KVM的安裝配置與基本操作 目錄第一部分 實驗環境第二部分 安裝圖形界面第三部分 配置KVM虛擬化第四部分 創建橋接網卡第五部分 KVM虛擬環境中安裝系統第六部分 克隆第七部分 其它命令 第一部分 實驗環境Linux服務器一臺IP地址：192.168.8

solr叢集安裝部署

一、安裝部署zookeeper叢集 zookeeper叢集 二、solr叢集部署 叢集配置 IP | 節點名稱 | 環境 --- | --- | --- 192.168.137.128 | 192.168.137.128 | jdk1.8, zookeeper3.4.13, solr7.5.0 192.

Redis-3.2.8的叢集安裝部署

一.下載並安裝基礎元件 yum -y install gcc automake autoconf libtool make jemalloc 二.下載redis並解壓安裝 wget http://download.redis.io/relea

spark-2.2.0 叢集安裝部署以及hadoop叢集部署

Spark在生產環境中，主要部署在安裝Linux系統的叢集中。在linux系統中安裝Spark需要預先安裝JDK、Scala等所需要的依賴。 由於Spark是計算框架，所以需要預先在叢集內有搭建好儲存資料的持久化層，如HDFS、Hive、Cassandra等，最後可以通過啟動指令碼執行應用。

spark-2.4.0-hadoop2.7-安裝部署

  1. 主機規劃 主機名稱 IP地址 作業系統 部署軟體 執行程序 備註 mini01 172.16.1.11【內網】 10.0.0.11  【外網】

centos7下hadoop的叢集安裝

通過前面https://www.bilibili.com/video/av31184748/的課程，我們已經配好了jdk、hosts、免密登陸等。 下面我們來進行hadoop叢集的安裝與部署 注：文章中的qipao請修改為自己的主機名或者ip地址 1.1首先我們

1.Hadoop叢集安裝部署

Hadoop叢集安裝部署 1.介紹 （1）架構模型 （2）使用工具 VMWARE cenos7 Xshell Xftp jdk-8u91-linux-x64.rpm hadoop-2.7.3.tar.gz 2.安裝步驟 （1）部署master 建立一臺虛擬機器 Xftp傳輸jdk、hadhoop安裝

CentOS7.4 yum和原始碼安裝ffmpeg 將amr格式音訊轉碼為mp3

原始碼安裝： 安裝依賴： # yum install nasm yasm 安裝依賴： # wget https://nchc.dl.sourceforge.net/project/lame/lame/3.100/lame-3.100.tar.gz # tar -

【Linux（CentOS7）下應用的安裝部署】：五、Maven安裝

下載安裝包 wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.2/binaries/apache-maven-3.5

Redis4叢集安裝部署實戰

redis伺服器的叢集主從配置，從redis的安裝到例項開啟，到叢集建立。叢集配置如圖： So in practical terms, what you get with Redis Cluster? The ability to au

Linux 下Redis叢集安裝部署及使用詳解

一、應用場景介紹 　　本文主要是介紹Redis叢集在Linux環境下的安裝講解，其中主要包括在聯網的Linux環境和離線的Linux環境下是如何安裝的。因為大多數時候，公司的生產環境是在內網環境下，無外網，伺服器處於離線狀態（最近公司要上線專案，就是無外網環境的Linu

基於Ubuntu14.04版本的Redis 4.0.9 版本安裝

本文就Redis的安裝和安裝過程中可能出現的問題做一個簡單的介紹。1.新建Redis目錄，下載Redis 安裝包：mkdir redis使用如下命令，下載Redis：wget http://download.redis.io/releases/redis-4.0.9.tar.