2. 程式人生 > >API網關Kong（二）：Kong與Kubernetes集成的方法

API網關Kong（二）：Kong與Kubernetes集成的方法

阿新 • • 發佈：2018-11-20
ada Once services per gpl recommend methods args timeout

作者: 李佶澳 轉載請保留：原文地址 發布時間：2018-09-30 16:07:13 +0800

  • 說明
  • 先說組成
    • 控制平面與數據平面
  • CustomResourceDefinitions
  • 開始部署
  • 使用演示
  • 參考

說明

這是API網關Kong的系列教程中的一篇，使用過程中遇到的問題和解決方法記錄在API網關Kong的使用過程中遇到的問題以及解決方法。

經過前面的學習(Nginx、OpenResty和Kong的基本概念與使用方法)，對Api網關是什麽，以及Kong能夠做什麽已經有了足夠的了解。 現在Kubernetes一統計算資源與應用發布編排的趨勢已經形成，我們更關心Kong能否和Kubernetes結合。

Kong是一個Api網關，也是一個特性更豐富的反向代理。既然它有代理流量的功能，那麽能不能直接成為Kubernetes的流量入口？使Kubernetes上托管的服務都通過Kong發布。

Kong實現了一個Kubernetes Ingress Controller（後面用kong-ingress-controller指代這個項目）來做這件事。另外把整個Kong部署在Kubernetes中也是可行的，見Kong CE or EE on Kubernetes。

先說組成

Kubernetes Ingress Controller for Kong中介紹了在kubernetes中的部署方法，總共有三部分。

第一部分是數據庫。kong不支持mysql，使用的數據庫只能是9.4及以上版本的postgres，或者Cassandra 3.x.x。

第二部分是ingress-controller.yaml，是一個Deployment，Pod中有三個容器：

第一個容器是InitContainer，負責初始化數據庫；

第二個容器是kong-proxy，只開放了admin接口，負責提供Kong的管理API；

第三個容器是kong-ingress-controller，負責Kubernetes資源與Kong的銜接，監測Kubernetes資源的變動，及時調用Kong的管理API，更新Kong的配置。

第三部分是kong.yaml，可以是Deployment，也可以是Daemonset，pod中只有一個kong-proxy容器，禁用了admin接口，只提供代理服務。

控制平面與數據平面

ingress-controller.yaml是控制平面，提供管理接口、下發規則；kong.yaml是數據平面，反向代理對API的請求。

下面是kong-ingress-controller中給出的示意圖，紅色箭頭表示控制信息的流動，綠色箭頭表示API請求的流動，dataplane就是屬於kong.yaml的多個Pod：

技術分享圖片

CustomResourceDefinitions

Kubernetes支持自定義資源Extend the Kubernetes API with CustomResourceDefinitions，kong-ingress-controller充分利用了這個簡稱為CRD的特性。

Cluster-types.yml中定義了KongPlugin、KongConsumer、KongCredential和KongIngress四種CRD資源(@2018-09-30 17:19:38)。

Kong ingress controller: custom types對這四種CRD資源做了說明：

KongConsumer:   kong的用戶
KongPlugin:     kong的插件的配置項
KongCredential: kong用戶的認證憑證
KongIngress:    對用戶創建的ingress的補充配置

KongConsumer定義了kong的用戶：

apiVersion: configuration.konghq.com/v1
kind: KongConsumer
metadata:
  name: <object name>
  namespace: <object namespace>
username: <user name>
custom_id: <custom ID>

例如：

apiVersion: configuration.konghq.com/v1
kind: KongConsumer
metadata:
  name: consumer-team-x
username: team-X
custom_id: my_team_x # optional and not recommended, please use `username`

KongCredential是用戶的認證憑證，它的type與kong支持的認證方式一一對應：

apiVersion: configuration.konghq.com/v1
kind: KongCredential
metadata:
  name: credential-team-x
consumerRef: consumer-team-x
type: key-auth
config:
  key: 62eb165c070a41d5c1b58d9d3d725ca1

KongPlugin是可以具體到用戶的插件配置，註意它可是全局配置，也可以是針對某個用戶的配置（consumerRef關聯到特定用戶）：

apiVersion: configuration.konghq.com/v1
kind: KongPlugin
metadata:
  name: <object name>
  namespace: <object namespace>
  labels:
    global: "true" # optional, please note the quotes around true
consumerRef: <optional, name of an existing consumer> # optional
disabled: <boolean>  # optional
config:
    key: value
plugin: <name-of-plugin>

例如：

apiVersion: configuration.konghq.com/v1
kind: KongPlugin
metadata:
  name: http-svc-consumer-ratelimiting
consumerRef: consumer-team-x
config:
  hour: 1000
  limit_by: ip
  second: 100
plugin: rate-limiting

KongIngress是對已經存在的ingress的補充。 Kong-ingress-controller會主動監測kuernetes集群中所有的ingress，為每個配置了host的ingress在kong中創建一個router，為每個被ingress使用的backend在kong中創建一個service。 Ingress是kubernetes定義的(Kubernetes Ingress定義)，對於那些與kong相關但是Ingress不支持的配置項，需要在KongIngress中配置。

下面是一個完成的KongIngress定義，包含upstream、proxy和route三部分：

apiVersion: configuration.konghq.com/v1
kind: KongIngress
metadata:
  name: configuration-demo
upstream:
  hash_on: none
  hash_fallback: none
  healthchecks:
    active:
      concurrency: 10
      healthy:
        http_statuses:
        - 200
        - 302
        interval: 0
        successes: 0
      http_path: "/"
      timeout: 1
      unhealthy:
        http_failures: 0
        http_statuses:
        - 429
        interval: 0
        tcp_failures: 0
        timeouts: 0
    passive:
      healthy:
        http_statuses:
        - 200
        successes: 0
      unhealthy:
        http_failures: 0
        http_statuses:
        - 429
        - 503
        tcp_failures: 0
        timeouts: 0
    slots: 10
proxy:
  protocol: http
  path: /
  connect_timeout: 10000
  retries: 10
  read_timeout: 10000
  write_timeout: 10000
route:
  methods:
  - POST
  - GET
  regex_priority: 0
  strip_path: false
  preserve_host: true
  protocols:
  - http
  - https

它們的用法在後面章節演示。

開始部署

這裏主要是學習，直接使用了Master分支中提供的yaml文件（commit: 34e9b4165ab64318d00028f42b797e77dac65e24)，不是正式的Release版本。

創建custerm-types:

wget https://raw.githubusercontent.com/Kong/kubernetes-ingress-controller/master/deploy/manifests/custom-types.yaml
kubectl create -f custom-types.yaml

創建名為kong的namespace，後面yaml描述的任務部署在這個namespace中：

wget https://raw.githubusercontent.com/Kong/kubernetes-ingress-controller/master/deploy/manifests/namespace.yaml
kubectl create -f namespace.yaml

設置RBAC，為kong namespace中的serivceaccount綁定角色，並賦予權限：

wget https://raw.githubusercontent.com/Kong/kubernetes-ingress-controller/master/deploy/manifests/rbac.yaml
kubectl create -f rbac.yaml

部署postgre，這裏為了方便直接在Kubernetes部署了，在操作系統上的部署方法參考：PostgresSQL數據庫的基本使用。

wget https://raw.githubusercontent.com/Kong/kubernetes-ingress-controller/master/deploy/manifests/postgres.yaml
kubectl create -f postgres.yaml

註意postgres.yaml是一個statfulset，並且要為每個Pod綁定PV，如果你的集群不支持，且純粹試用可以註釋掉（這樣postgre的pod重建時，數據會丟失）:

...
      volumes:
      - name: datadir
        persistentVolumeClaim:
          claimName: datadir
  volumeClaimTemplates:
  - metadata:
      name: datadir
    spec:
      accessModes:
        - "ReadWriteOnce"
      resources:
        requests:
          storage: 1Gi

部署kube-ingress-controller：

wget https://raw.githubusercontent.com/Kong/kubernetes-ingress-controller/master/deploy/manifests/ingress-controller.yaml
kubectl create -f ingress-controller.yaml

部署kong：

wget https://raw.githubusercontent.com/Kong/kubernetes-ingress-controller/master/deploy/manifests/kong.yaml
kubectl create -f kong.yaml

kong.yaml中少了一個service（commit: 34e9b4165ab64318d00028f42b797e77dac65e24)，需要加上：

---
apiVersion: v1
kind: Service
metadata:
  name: kong-proxy
  namespace: kong
spec:
  type: NodePort
  ports:
  - name: kong-proxy
    port: 80
    targetPort: 8000
    protocol: TCP
  - name: kong-proxy-ssl
    port: 443
    targetPort: 8443
    protocol: TCP
  selector:
    app: kong

確保所有的Pod正常運行：

$ kubectl -n kong get pod -o wide
NAME                                     READY     STATUS    RESTARTS   AGE       IP             NODE
kong-54875c6bd7-8ttgf                    1/1       Running   0          15s       192.168.78.8   10.10.173.203
kong-ingress-controller-cfc7dc7d-vnp64   2/2       Running   7          15m       192.168.78.6   10.10.173.203
postgres-0                               1/1       Running   0          17m       192.168.78.5   10.10.173.203

相關Service的狀態：

$ kubectl -n kong get svc
NAME                      TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
kong-ingress-controller   NodePort    10.254.147.53   <none>        8001:31627/TCP               27m
kong-proxy                NodePort    10.254.237.61   <none>        80:32057/TCP,443:31552/TCP   52s
postgres                  ClusterIP   10.254.77.113   <none>        5432/TCP                     47m

然後可以部署一個第三方提供的Dashboard：PGBI/kong-dashboard：

---
apiVersion: v1
kind: Service
metadata:
  name: kong-dashboard
  namespace: kong
spec:
  type: NodePort
  ports:
  - name: kong-dashboard
    port: 80
    targetPort: 8080
    protocol: TCP
  selector:
    app: dashboard
---

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: dashboard
  namespace: kong
spec:
  template:
    metadata:
      labels:
        name: dashboard
        app: dashboard
    spec:
      containers:
      - name: kong-dashboard
        args:
        - start
        - --kong-url http://kong-ingress-controller:8001
        - --basic-auth admin=admin
        image: pgbi/kong-dashboard:latest
        ports:
        - name: http
          containerPort: 8080
          protocol: TCP

使用演示

在另一個namespaces中創建一個完整應用：webshell-all-in-one.yaml。

$ kubectl create -f https://raw.githubusercontent.com/introclass/kubernetes-yamls/master/all-in-one/webshell-all-in-one.yaml
namespace "demo-webshell" created
ingress "webshell-ingress" created
service "webshell" created
deployment "webshell" created

上面的yaml文件，在demo-webshellnamespaces中，創建了deployment、serivce和ingress。

創建成功之後，在kong的dashboard中，可以看到自動創建了為demo-webshell.webshell.80 的Route：

Service                     Methods    Protocols    Hosts          Paths    Priority    
demo-webshell.webshell.80   (none)     http         webshell.com   /        0

和一個同名的service：

Name                        Protocol    Host                         Port    PATH
demo-webshell.webshell.80   http        demo-webshell.webshell.80    80      /

之後可以通過kong-proxy服務訪問webshell：

// kong-proxy的采用NodePort方式，端口是32057
kong-proxy                NodePort    10.254.237.61   <none>        80:32057/TCP,443:31552/TCP   52s

訪問效果如下，10.10.173.203是kubernetes一個node的IP:

$ curl -v -H "Host: webshell.com" 10.10.173.203:32057
* About to connect() to 10.10.173.203 port 32057 (#0)
*   Trying 10.10.173.203...
* Connected to 10.10.173.203 (10.10.173.203) port 32057 (#0)
> GET / HTTP/1.1
> User-Agent: curl/7.29.0
> Accept: */*
> Host: webshell.com
>
< HTTP/1.1 200 OK
< Content-Type: text/html; charset=utf-8
< Content-Length: 382
< Connection: keep-alive
< Date: Mon, 08 Oct 2018 10:59:08 GMT
< X-Kong-Upstream-Latency: 3
< X-Kong-Proxy-Latency: 9
< Via: kong/0.14.1
<
<html>
<head>
<meta content="text/html; charset=utf-8">
<title>WebShell</title>
</head>

<body>

<form method="post" accept-charset="utf-8">
	Command: <input type="text" name="command" width="40%" value="hostname">
	Params : <input type="text" name="params" width="80%" value="">
	<input type="submit" value="submit">
</form>
<pre>

webshell-cc785f4f8-2vp6c

</pre>
</body>
</html>

參考

  1. Kong CE or EE on Kubernetes
  2. Kong/kubernetes-ingress-controller
  3. Nginx、OpenResty和Kong的基本概念與使用方法
  4. Kubernetes Ingress Controller for Kong
  5. Deployment: ingress-controller.yaml
  6. Deployment: Kong
  7. Extend the Kubernetes API with CustomResourceDefinitions
  8. Kong ingress controller: custom types
  9. Kong postgres.yaml
  10. PostgresSQL數據庫的基本使用
  11. Kong Custom Resource Definitions
  12. Nginx、OpenResty和Kong的基本概念與使用方法: Kong的插件
  13. PGBI/kong-dashboard
  14. Kubernetes Ingress
  15. Kong: router
  16. Kong: service

API網關Kong（二）：Kong與Kubernetes集成的方法

相關推薦

API網關Kong（二）：Kong與Kubernetes集成的方法

ada Once services per gpl recommend methods args timeout 作者: 李佶澳 轉載請保留：原文地址 發布時間：2018-09-30 16:07:13 +0800 說明 先說組成 控制平面與數據平面

【小說連載】網絡紅顏（二）：美女網絡工程師第一天上班就被燙傷了腳……

網絡 職場 美女 入職 簡介：這是一段描寫網絡工程師生活的故事。故事中沒有英雄，沒有勵誌，也沒有所謂的雞湯文化和狼性文化。有的，或許是一種對技術的執著，對愛情的渴望或者是對名利的一種追求，但又能追求到什麽呢？聲明：本故事所出現的人名，公司名均為虛構，如有雷同恰屬巧合小說將在本站博客和本人微信公

Spark筆記整理（二）：RDD與spark核心概念名詞

大數據 Spark [TOC] Spark RDD 非常基本的說明，下面一張圖就能夠有基本的理解： Spark RDD基本說明 1、Spark的核心概念是RDD (resilient distributed dataset，彈性分布式數據集)，指的是一個只讀的，可分區的分布式數據集，這個數據集的全

深入理解overlayfs（二）：使用與原理分析

在初步瞭解overlayfs用途之後，本文將介紹如何使用overlayfs以及理解該檔案系統所特有的一些功能特性。由於目前主線核心對overlayfs正在不斷的開發和完善中，因此不同的核心版本改動可能較大，本文儘量與最新的核心版本保持一致，但可能仍會存在細微的出入。 核心版本：Linux-4.1

機器學習速成筆記（二）： 訓練與損失

訓練模型通過有標籤樣本來學習（確定）所有的權重和偏差的理想值。 損失是對槽糕預測的懲罰，損失是一個數值，模型的預測完全正確，則損失為零，反之，模型的預測越槽糕，損失越大。 平方損失：一種常見的損失函式，線性迴歸模型就是使用該平方損失 均方誤差：每個樣本的平均平方損失，計算均方誤差，要算出

演算法快學筆記（二）：陣列與連結串列

1. 說明 當程式需要將資料儲存到記憶體時，計算機會給你一個儲存地址。需要存 儲多項資料時，有兩種基本方式——陣列和連結串列。但它們並非都適用於所有的情形，因此知道它們的特性很重要。本文將對陣列與連結串列的原理與優缺點進行總結。 2. 陣列 使用陣列儲存多個元素的時候，陣列中元素

Docker的使用初探（二）：Docker與.NET Core的結合

目錄 Docker的使用初探（二）：Docker與.NET Core的結合 新增Dockefile 1. 在建立專案時新增 2. 手動新增 3. 容器業務流程協調控制程式支援 Dockefile語法 Docker專

java基礎鞏固系列（二）：Integer與int之間的區別

在JDK1.5之後引入了自動裝箱（autoboxing）與自動拆箱（unboxing），這讓很多對java的初學者感到很疑惑，我剛才也是其中一員。 首先，有一些基本的概念需要了解： 1、Ingeter是int的包裝類，int的初值為0，Ingeter的初值為null。 2

jhipster 筆記（二）：打包與實體

一、專案打包： 1.mvn專案：./mvnw -Pprod clean package 2.gradle專案：gradle bootRepackage -Pprod

SpringBoot簡明教程之專案屬性配置（二）：@ConfigurationProperties與@Value簡單比較

前文回顧 在上一篇博文：SpringBoot簡明教程之專案屬性配置（一）：YAML簡介 中我們簡單的介紹了SpringBoot的專案屬性配置中有關YAML檔案的簡單語法以及簡單展示了通過配置檔案進行值注入。 @ConfigurationProper

EOS學習（二）：賬號與許可權

帳戶是儲存在區塊鏈中的人類可讀識別符號。每個交易都根據配置的帳戶許可權對其許可權進行評估。每個命名的許可權都有一個閾值，在滿足該閾值的條件下才能觸發易簽名。事務通過加解鎖錢包的客戶端來簽署。錢包是保護和利用你的金鑰的軟體。這些金鑰可能會或可能不會被授予區塊鏈上的賬戶許可權。錢

Servlet基礎（二）：Servlet與JSP

詳情請檢視個人部落格Servlet基礎（二）   JSP是一種指令碼語言，包裝了Java Servlet系統的介面，簡化了Java和Servlet的使用難度，同時通過擴充套件JSP標籤(TAG)提供

Kotlin學習筆記（二）：Kotlin與Java對比

本篇文章我們將通過類比Java語法的方式學習Kotlin的基本語法和常用操作 基本型別 Java Kotlin 位寬 double Double 64 float Float 32 long L

網絡應用（2）：流量與碼率等 | 流量、帶寬、速度、碼率

相對 鐵通 yun 質量 基礎概念 來看 語音 無線 人在 架設網絡，按規定，需要拿到工信部頒發的營業執照。我們使用的網絡，由運營商提供。運營商指的是網絡運營商（提供互聯網服務的組織，也叫ISP），包括：移動、電信、網通、鐵通、長城、天威、教育網、廣電、方正，等等。 現在，

網絡應用（3）：CDN與P2P的概念

公司 等等 語音 轉發 獲取數據 服務 live 及其 直播 我前面說了流量的概念，流量是使用網絡時經常要考慮的一個因素--如何才能更快的使用流量，如何才能節省流量使用的成本，對於這樣的問題，你可能要了解一下什麽是cdn，什麽是p2p。 （1）cdn是什麽 cdn是一個基於

QFramework 使用指南 2020（二）：下載與版本介紹

目前 QFramework 有兩個可供安裝的版本 PackageKit：QFramework 的外掛平臺，可以下載只感興趣的外掛，除了 Framework 模組還有一些 Shader 案例、專案模板、不依賴 Framework 的模組、教程、社群等功能和模組。 Framework：包含了 PackageKi

SSM項目搭建（二）mybatis和spring的集成

刪除 internal code odi 自動獲取 over 初級 character upload 上一篇文章大概搭建了一下ssm的框架，其實還是不完整，我們往項目中添加了spring和mybatis的配置文件，還差一個spring mvc的配置文件，在resource中

API網關Kong（四）：功能梳理和插件使用-認證插件使用

nbsp forward gen base64 gre 網頁 title hmac dap 作者: 李佶澳 轉載請保留：原文地址 發布時間：2018/10/18 11:14:00 說明 部署一個echo應用 Basic Auth Key Auth JWT

《Java從入門到放棄》入門篇：hibernate中的多表對應關系（二）

文件中 nas join upx proxy n2n pla sta int 前一篇講完了一對多的關系，通過與JDBC對比應該能發現，是不是比JDBC簡單了很多？ 我們只需要把對象只間的包含或對應關系理清楚，完全不用我們自己來寫SQL語句。所以使用hibernate框架後，

Wireshark使用介紹（二）：應用Wireshark觀察基本網絡協議

使用 額外 傳輸過程 直接 nal http協議 ges log 傳輸 TCP: TCP/IP通過三次握手建立一個連接。這一過程中的三種報文是：SYN，SYN/ACK，ACK。 第一步是找到PC發送到網絡服務器的第一個SYN報文，這標識了TCP三次握手的開始。