一、環境描述

（1）兩個node，一個master和一個minion，其中master節點的ip是192.168.110.151，minion的ip是192.168.110.152

（2）其中151的機器上啟動私有registry，提供k8s叢集所需要的image

（3）master節點上執行kube-apiserver、kube-controller-manager、kube-scheduler和etcd；minion節點上執行kube-

         proxy、kubelet和etcd

（4）其中151機器的hostname是master，152機器的hostname是dockertest4

二、環境搭建

1、etcd環境搭建

（1）master節點操作，將etcd的etcd和etcdctl檔案拷貝到/home/docker/xu/etcd目錄下，然後在該目錄下建立run.sh文件，檔案內容如下：

killall -9 etcd
./etcd \
-name etcd0 \
-data-dir etcd0.etcd \
-initial-advertise-peer-urls http://master:2380 \
-listen-peer-urls http://master:2380 \
-listen-client-urls http://master:2379,http://127.0.0.1:2379 \
-advertise-client-urls http://master:2379 \
-initial-cluster-token etcd-cluster \
-initial-cluster etcd0=http://master:2380,etcd1=http://dockertest4:2380 \
-initial-cluster-state new
 

（2）minion節點上的操作，將etcd的etcd和etcdctl檔案拷貝到/home/docker/xu/etcd目錄下，然後在該目錄下建立run.sh文件，檔案內容如下：

killall -9 etcd
./etcd \
-name etcd1 \
-data-dir etcd1.etcd \
-initial-advertise-peer-urls http://dockertest4:2380 \
-listen-peer-urls http://dockertest4:2380 \
-listen-client-urls http://dockertest4:2379,http://127.0.0.1:2379 \
-advertise-client-urls http://dockertest4:2379 \
-initial-cluster-token etcd-cluster \
-initial-cluster etcd0=http://master:2380,etcd1=http://dockertest4:2380 \
-initial-cluster-state new
 

（3）分別執行上述兩個run.sh檔案（執行命令./run.sh）

（4）在master節點的/home/docker/xu/etcd目錄下執行./etcdctl member list命令，如果環境搭建成功會看見如下輸出

[email protected]:/home/docker/xu/etcd# ./etcdctl member list
a8393743a0bdfe3: name=etcd1 peerURLs=http://dockertest4:2380 clientURLs=http://dockertest4:2379 isLeader=true
c93427c50eaf2937: name=etcd0 peerURLs=http://master:2380 clientURLs=http://master:2379 isLeader=false

2、k8s環境搭建

（1）將kubernetes\server\bin中的所有檔案分別拷貝到master和minion節點的/home/docker/xu/k8s目錄下

（2）在master節點的/home/docker/xu/k8s目錄下編輯run-apiserver.sh、run-controller-manager.sh和run-scheduler.sh檔案，檔案內容分別如下：

./kube-apiserver --address=0.0.0.0  --insecure-port=8080 --service-cluster-ip-range='192.168.110.0/24' --kubelet_port=10250 --v=0 --logtostderr=true --etcd_servers=http://192.168.110.151:2379 --allow_privileged=false  >> /opt/k8s/kube-apiserver.log 2>&1 &

./kube-controller-manager  --v=0 --logtostderr=false --log_dir=/opt/k8s/kube --master=192.168.110.151:8080 >> /opt/k8s/kube-controller-manager.log 2>&1 &

./kube-scheduler  --master='192.168.110.151:8080' --v=0  --log_dir=/opt/k8s/kube  >> /opt/k8s/kube-scheduler.log 2>&1 &

注意：需要在/opt目錄下建立k8s資料夾，並在k8s資料夾中建立相應的日誌檔案

需要給上述三個檔案賦予可執行許可權：chmod +x 檔名

（3）在master節點的/home/docker/xu/k8s目錄下編輯run-proxy.sh、run-let.sh檔案，檔案內容分別如下：

./kube-proxy  --logtostderr=true --v=0 --master=http://192.168.110.151:8080 --hostname_override=192.168.110.152   >> /opt/k8s/kube-proxy.log

./kubelet  --logtostderr=true --v=0 --allow-privileged=false  --log_dir=/opt/k8s/logs/kube  --address=0.0.0.0  --port=10250  --hostname_override=192.168.110.152  --api_servers=http://192.168.110.151:8080   >> /opt/k8s/kube-kubelet.log

注意：需要在/opt目錄下建立k8s資料夾，並在k8s資料夾中建立相應的日誌檔案

需要給上述三個檔案賦予可執行許可權：chmod +x 檔名

（4）在master的/home/docker/xu/k8s執行如下命令：

./run-apiserver.sh

./run-controller-manager.sh

./run-scheduler.sh

（5）在minion節點的/home/docker/xu/k8s執行如下命令

./run-proxy.sh

./run-let.sh

（6）在master節點的/home/docker/xu/k8s執行如下命令，如果有下面的輸出，說明叢集搭建成功：

[email protected]:/home/docker/xu/kubernetes/server/bin# kubectl get nodes
NAME              STATUS    AGE
192.168.110.152   Ready     1d

[email protected]:/home/docker/xu/kubernetes/server/bin# kubectl get cs
NAME                 STATUS    MESSAGE              ERROR
controller-manager   Healthy   ok                   
scheduler            Healthy   ok                   
etcd-0               Healthy   {"health": "true"}  

[email protected]:/home/docker/xu/kubernetes/server/bin# kubectl cluster-info
Kubernetes master is running at http://localhost:8080

To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.

3、實驗環境搭建

（1）實驗描述

試驗中會會建立兩個pod，其中一個pod回去連線另一個pod進行通訊

（2）在master節點的/home/docker/xu/test目錄下建立mysql.yaml、tomcat.yaml,檔案內容分別如下：

apiVersion: v1
kind: Service
metadata:
  name: mysql
spec:
  ports:
    - port: 3306
  selector:
    app: mysql_pod
---
apiVersion: v1
kind: ReplicationController
metadata:
  name: mysql-deployment
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: mysql_pod
    spec:
      containers:
        - name: mysql
          image: 192.168.110.151:5000/mysql
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 3306
          env:
            - name: MYSQL_ROOT_PASSWORD
              value: "123456"

apiVersion: v1
kind: Service
metadata:
  name: hpe-java-web
spec:
  type: NodePort
  ports:
    - port: 8080
      nodePort: 31002
  selector:
    app: hpe_java_web_pod
---
apiVersion: v1
kind: ReplicationController
metadata:
  name: hpe-java-web-deployement
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: hpe_java_web_pod
    spec:
      containers:
        - name: myweb
          image: 192.168.110.151:5000/tomact8
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 8080

（3）建立tomcat映象

Dockerfile檔案內容如下

FROM tomcat
MAINTAINER xuguokun <[email protected]>
ADD K8S.war /usr/local/tomcat/webapps/

其中K8S.war是個javaweb工程。其實很簡單就是一個jsp檔案，jsp檔案內容如下

<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>
<%@page import="java.sql.*" %>
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<title>Insert title here</title>
</head>
<body>
<table border="1" align="center">
    <tr>
      <td>卡號</td>
    </tr>
    <%
    
    String driverClass="com.mysql.jdbc.Driver";
    
    String ip=System.getenv("MYSQL_SERVICE_HOST");
    String port=System.getenv("MYSQL_SERVICE_PORT");
    
    System.out.println(port+"asasdfasdfasdfasdfasd");
    
    //String ip = "localhost";
    //String port = "3306";
	   
    Connection conn;
    try{
    Class.forName(driverClass);
    conn = java.sql.DriverManager.getConnection("jdbc:mysql://"+ip+":"+port+"/bms", "root","123456"); 
    Statement stmt=conn.createStatement();
    String sql="select * from bms_appuser";
    ResultSet rs=stmt.executeQuery(sql);
    while(rs.next()){
    %>
    <tr>
    <td><%=rs.getString(3) %></td>
    </tr>
    <% 
    }
    }
    catch(Exception ex){
    ex.printStackTrace();
    }
    %>
</table>
</body>
</html>

建立tomcat映象的命令（在Dockerfile和K8S.war所在的目錄執行）

docker build -t 192.168.110.151:5000/tomcat8

（4）建立pod，在test目錄下執行如下命令

kubectl create -f mysql.yaml和kubectl create -f tomcat.yaml

（5）然後在master節點的test目錄下執行如下命令，並得到相應的輸出，說明環境搭建成功

[email protected]:/home/docker/xu/test# kubectl get pods
NAME                             READY     STATUS    RESTARTS   AGE
hpe-java-web-deployement-w8kts   1/1       Running   0          12h
mysql-deployment-ovz6y           1/1       Running   0          12h

[email protected]:/home/docker/xu/test# kubectl get service
NAME           CLUSTER-IP        EXTERNAL-IP   PORT(S)    AGE
hpe-java-web   192.168.110.101   <nodes>       8080/TCP   12h
kubernetes     192.168.110.1     <none>        443/TCP    1d
mysql          192.168.110.158   <none>        3306/TCP   12h

[email protected]:/home/docker/xu/test# kubectl exec hpe-java-web-deployement-w8kts -- printenv | grep SERVICE
MYSQL_SERVICE_HOST=192.168.110.158
KUBERNETES_SERVICE_PORT_HTTPS=443
HPE_JAVA_WEB_SERVICE_PORT=8080
MYSQL_SERVICE_PORT=3306
HPE_JAVA_WEB_SERVICE_HOST=192.168.110.101
KUBERNETES_SERVICE_HOST=192.168.110.1
KUBERNETES_SERVICE_PORT=443

（6）資料表建立，通過docker exec進入mysql容器，然後建立bms資料庫，並在bms中建立表bms_appuser。bms_appuser中有三個欄位，分別是id name和value

（7）然後在152的節點的瀏覽器中訪問http://192.168.110.101:8080/K8S/index.jsp

頁面顯示內容如下：

卡號
00901016
0090051F
00900E33

4、實驗結束