1. 程式人生 > >如何在GO語言中使用Kubernetes API?

如何在GO語言中使用Kubernetes API?

GO KUbernetes Kubernetes API 微服務 控制器

Rancher Labs首席軟件工程師Alena Prokharchyk受邀在2017年12月6-8日的CNCF主辦的Kubernetes領域頂級盛會KubeCon + CloudNativeCon 2017北美峰會上進行演講,本文由演講內容整理而成。

隨著Kubernetes越來越受歡迎,圍繞它的集成和監控服務的數量也在不斷增長。Golang編寫的所有此類服務的關鍵組件是kubernetes / client-go——一個用於與Kubernetes集群API通信的軟件包。在本文中,我們將討論client-go使用的基本知識,以及如何為開發人員節約編寫實際應用程序邏輯所需的時間。我們還將展示使用該軟件包的最佳實踐,並從每天與Kubernetes進行集成工作的開發人員的角度,分享我們已有的經驗。內容將包括:

集群中的客戶端認證 vs. 集群外的客戶端認證

基本列表,使用client-go去創建和刪除Kubernetes對象的操作

如何使用ListWatch和Informers監視K8s事件並做出反應

如何管理軟件包依賴

Kubernetes是一個平臺

Kubernetes有很多受歡迎的地方。用戶喜歡它的豐富功能、穩定性和性能。對貢獻者來說,Kubernetes開源社區不僅規模龐大,還易於上手、反饋迅速。而真正讓Kubernetes吸引了第三方開發者的是它的可擴展性。該項目提供了很多方式來添加新功能、擴展現有功能而且不會中斷主代碼庫。正是這些,使得Kubernetes發展成為了一個平臺。

這裏有一些方式來擴展Kubernetes:

技術分享圖片

上圖所示,你可以發現每個Kubernetes集群組件無論是Kubelet還是API服務器,都可以以某種方式進行擴展。今天我們將重點介紹一種“自定義控制器”的方式,從現在起我將它稱為Kubernetes控制器(Kubernetes Controller),或者簡單地稱為控制器(Controller)。


Kubernetes控制器究竟是什麽


控制器最常見的定義是:使得系統的當前狀態達到所期望的狀態的代碼。但這究竟是什麽意思呢?我們以Ingress控制器為例。Ingress是一個Kubernetes資源,它能夠對集群中服務的外部訪問進行定義。通常采用HTTP並且有負載均衡支持。然而Kubernetes的核心代碼中並沒有ingress的實現。第三方控制器的實現將包含:


1. 監控ingress/services/endpoint 資源的事件(創建、更新、刪除)

2. 程序內部或外部的負載均衡器

3. 使用負載均衡器的地址來更新Ingress


“所期望的狀態”在Ingress這裏指的是IP地址指向運行著的負載均衡器,該均衡器由用戶根據ingress規範定義的規則實現。並且由外部Ingress控制器負責將ingress資源轉移到這一狀態。

對相同的資源,控制器的實現以及部署他們的方式也可能會有所不同。你可以選擇nginx控制器並將其部署到集群中的每個節點上作為守護進程集(Daemon Set),也可以選擇在Kubernetes集群外部運行ingress控制器並且對F5編程作為負載均衡器。這裏沒有嚴格的規定,Kubernetes就是如此靈活。


Client-go


這裏有幾種獲得Kubernetes集群及其資源相關信息的方法,你可以使用Dashboard、kubectl或者使用對Kubernetes API的編程式訪問來實現。Client-go所有用Go語言編寫的工具中使用最為廣泛的庫,還有許多其他語言的版本(java、python等)。如果你還沒自己寫過控制器,我推薦你首先去嘗試go/client-go。Kubernetes是用Go編寫的,而且我發現使用和主項目相同的語言來開發插件會更加方便。


我們來搭建吧…


要熟悉相關的平臺和工具,最好的辦法就是去實踐,去實現一些東西。我們從簡單入手,先實現一個如下的控制器:

1. 監控Kubernetes節點

2. 當節點上的鏡像占用存儲空間時進行警報,並且可以更改


這部分的實現,源碼可以在這裏找到:https://github.com/alena1108/kubecon2017


基本流程


配置項目

作為一名開發者,我和Rancher Labs的同事們更願意使用輕便簡易的工具,在這裏我將分享3個我最喜歡的工具,它們將幫助我們完成第一個項目。

1. go-skel – Go語言的微服務skeleton,只需執行run ./skel.sh test123即可,它會為新的go項目test123創建skeleton。

2. trash – Go語言的供應商管理工具。實際上這兒有很多依賴項管理工具,但是在臨時依賴項管理方面,trash使用起來非常出色,而且簡單。

3. dapper – 在一致性環境中對任何現有構建工具進行封裝的一種工具


添加client-go作為一個依賴項

為了方便使用client-go的代碼,我們必須要將其設置為項目的依賴項。將它添加到vendor.conf文件中:

技術分享圖片

接著運行trash。它會將vendor.conf中定義的所有依賴項都拉到項目的vendor文件夾中。在這裏需要確保client-go與你集群對應的Kubernetes版本是兼容的。


創建一個客戶端

在創建與Kubernetes API通信的客戶端之前,我們必須要先決定如何運行我們的工具:是在Kubetnetes集群內部還是外部。當應用程序在集群內部運行時,對它進行容器化,部署成為Kubernetes pod。它還提供了一些額外的功能:你可以選擇部署它的方式(Deamon set運行在每個節點上,或者作為n個副本的部署),配置針對它的健康檢查等等。當應用程序在集群外部運行時,就需要自己來管理它。下面的配置可以讓我們的工具變得更靈活,並且支持基於config flag定義客戶端的兩種方式:

技術分享圖片

我們將在調試應用程序時使用集群外部運行的方式,這樣你不需要每次都構建鏡像並且將其重新部署成Kubernetes pod。在測試好應用程序後,我們就可以構建鏡像並將其部署到集群中。

正如在截圖中看到的那樣,正在構建配置,並將其傳遞到kubernetes.NewForConfig來生成客戶端。


使用基本的CRUDs

我們的工具需要監控節點。在實現邏輯流程之前,我們先來熟悉使用client-go執行CRUD操作:

技術分享圖片

上面的截圖展示了:

1. List節點minikube,是經過FieldSelector過濾器實現的

2. 用新的標註來更新節點

3. 使用gracePerios=10秒指令刪除節點—意思是從該命令執行後10秒才會執行刪除操作

上面所有的步驟都是使用我們之前創建的用戶集(clientset)進行的。

我們還需要節點上鏡像的相關信息;它可以通過訪問相應的字段來檢索:

技術分享圖片

使用Informer來進行監控/通知

現在我們知道了如何從Kubernetes APIs中獲取節點並從中得到鏡像信息。那麽我們該如何監控鏡像大小的變化呢?最簡單的方法是周期性輪詢節點,計算當前的鏡像存儲容量,並將其和先前輪詢的結果比較。這裏的不足之處在於:無論節點是否發生變化,我們執行的列表調用都會獲取所有的節點,這可能會很費資源——特別是當輪詢間隔很短的時候。而我們真正想要實現的是—在節點發生變化時得到通知,只有在這之後才執行我們的邏輯流程。這些就是client-go的Informer來做的。

技術分享圖片

在這個例子中,我們經過watchList指令為節點對象創建Informer來監控節點,設置對象類型為api.Node和30秒的同步周期來周期性地輪詢節點,無論節點是否發生改變——這種方式在更新事件出於某種原因發生終止時可以很好的進行撤回。在最後一個參數,我們傳遞了2個回調函數——handleNodeAdd和handleNodeUpdate。這些回調函數具有實際的邏輯,並且在節點上的鏡像占用存儲發生改變時觸發。NewInformer返回2個對象——controller和store。一旦controller啟動,將會開始對node.update和node.add的監控,並且調用回調函數。這部分代碼的存儲區位於內存緩存中,由informer負責更新,另外你可以在緩存區中獲取節點對象而不用直接調用Kubernetes APIs:

技術分享圖片

我們的項目中只有一個控制器,使用常規的Informer就足夠了。不過,如果未來你的項目最終同一個對象擁有了多個控制器,我建議你使用SharedInformer。這樣一來你不用再一個一個為每個控制器配上Informer,只需要註冊一個Shared informer即可,並且讓每個控制器註冊自己的一組回調函數,返回共享緩存,這可以減少內存占用:

技術分享圖片


部署時間

是時候來部署和測試代碼了!對於第一次運行,我們只需要創建一個go的二進制文件並且在集群外模式下運行它即可:

技術分享圖片

如要更改消息輸出,那麽使用鏡像部署一個pod,該鏡像是沒有在當前節點顯示的鏡像。

在基本的功能通過測試之後,接下來就是按照集群模式嘗試運行它了。為此我們必須先創建鏡像,定義它的Dockerfile:

技術分享圖片

並使用docker build創建一個鏡像,該命令將生成一個可用在Kubernetes中部署pod的鏡像。現在你的應用程序可以作為一個pod運行在Kubernetes集群上了。這裏是一個部署定義的例子,在之前的截圖中,我使用了該例部署我們的應用程序:

技術分享圖片

在本文中我們做了如下工作:

1. 創建go項目

2. 為項目添加client-go包的依賴項

3. 創建用於和Kubernetes api通信的客戶端

4. 定義一個用於監控節點對象改變,並且一旦發生就執行回調函數的Informer

5. 在回調函數中實現一個實際的邏輯

6. 在集群外運行二進制文件來測試代碼,並把它部署到集群中


如何在GO語言中使用Kubernetes API?