你必須知道的容器監控 (3) Prometheus
本篇已加入《.NET Core on K8S學習實踐系列文章索引》，可以點選檢視更多容器化技術相關係列文章。上一篇介紹了Google開發的容器監控工具cAdvisor，但是其提供的操作介面較為簡陋，且不支援監控多Host，實用性有待提高。因此，本篇會介紹一個流行的生產級監控工具，不，準確說來應該是一個監控方案，它就是Prometheus！
# 實驗環境：阿里雲ECS主機（兩臺），CentOS 7.4
一、Prometheus簡介
1.1 關於Prometheus
Prometheus是由SoundCloud開發的開源監控系統的開源版本。2016年，由Google發起的雲原生基金會CNCF (Cloud Native Computing Foundation) 將其納入為其第二大開源專案（第一大開源專案是Kubernetes）。Prometheus提供了一整套的包括監控資料蒐集、儲存、處理、視覺化和告警的完整解決方案。
Prometheus官網地址：https://prometheus.io/
Prometheus GitHub：https://github.com/prometheus/prometheus/
1.2 Prometheus架構
Prometheus在其官方github上貼出的其架構圖如下：
為了更容易理解這個架構，這裡我們採用園友Cloud Man（他也是本文參考資料《每天5分鐘玩轉Docker》作者）總結的下圖，它去掉了一些部分，只保留了最重要的元件，可以幫助我們避免注意力分散。
從上圖看來，我們著重需要關注以下幾個核心元件：
（1）Prometheus Server：負責從Exporter中拉取和儲存監控資料，並提供一套查詢語言（PromQL）供使用者使用。
（2）Exporter：負責收集目標物件（如Host或Container）的效能資料，並通過HTTP介面供Prometheus Server獲取。
（3）視覺化元件 Grafana：獲取Prometheus Server提供的監控資料並通過Web UI的方式完美展現資料。
（4）AlertManager：負責根據告警規則和預定義的告警方式發出例如Email、Webhook之類的告警。
1.3 Prometheus資料模型
Prometheus 中儲存的資料為時間序列，是由 metric 的名字和一系列的標籤（鍵值對）唯一標識的，不同的標籤則代表不同的時間序列。
- metric 名字：該名字應該具有語義，一般用於表示 metric 的功能，例如：http_requests_total, 表示 http 請求的總數。其中，metric 名字由 ASCII 字元，數字，下劃線，以及冒號組成，且必須滿足正則表示式 [a-zA-Z_:][a-zA-Z0-9_:]*。
- 標籤：使同一個時間序列有了不同維度的識別。例如 http_requests_total{method="Get"} 表示所有 http 請求中的 Get 請求。當 method="post" 時，則為新的一個 metric。標籤中的鍵由 ASCII 字元，數字，以及下劃線組成，且必須滿足正則表示式 [a-zA-Z_:][a-zA-Z0-9_:]*。
- 樣本：實際的時間序列，每個序列包括一個 float64 的值和一個毫秒級的時間戳。
時間序列格式：
<metric name>{<label name>=<label value>, ...}
示例：
api_http_requests_total{method="POST", handler="/messages"}
之前有分享過另一個時序資料庫InfluxDB，它也是一個不錯的時序資料庫，經常用來作為監控資料的儲存。OK，關於Prometheus的簡介就到這兒，下面那我們開始動手將Prometheus初步用起來。
二、Prometheus實踐
2.1 實驗環境說明
此次實驗會搭建一個基於Prometheus的監控系統，用於監控兩臺阿里雲ECS主機，監控目標為Host和容器兩個層次。
| 主機 | IP | 執行元件 |
| 阿里雲ECS1 | 47.102.140.100 | Prometheus Server、Grafana、Exporter(Node Exporter & cAdvisor) |
| 阿里雲ECS2 | 47.102.140.101 | Exporter(Node Exporter & cAdvisor) |
Note：Prometheus支援多種Exporter，這裡我們使用Node Exporter 和 cAdvisor。其中，Node Exporter用於收集Host相關資料，cAdvisor用於收集容器相關資料。Node Exporter 和 cAdvisor 會執行在所有實驗主機上。
2.2 執行Node Exporter
在兩臺主機上執行以下命令執行Node Exporter：
docker run -d -p 9100:9100 \ -v "/proc:/host/proc" \ -v "/sys:/host/sys" \ -v "/:/rootfs" \ prom/node-exporter \ --path.procfs /host/proc \ --path.sysfs /host/sys \ --collector.filesystem.ignored-mount-points "^/(sys|proc|dev|host|etc)($|/)"
執行成功後，會建立一個Node Exporter的容器例項，訪問兩臺主機的地址 http://[Your Host IPs]:9100/metrics，你可以看到如下圖所示的資訊：
如果能看到上圖，說明你的Node Exporter可以為Prometheus提供該Host的監控資料了。
2.3 執行cAdvisor
這部分我們在上一篇《容器監控（2）cAdvisor》中已經介紹過了，這裡我們繼續在這兩臺主機中執行以下命令安裝執行cAdvisor（如果已經運行了，就不必再執行了）：
docker run \ --volume=/:/rootfs:ro \ --volume=/var/run:/var/run:rw \ --volume=/sys:/sys:ro \ --volume=/var/lib/docker/:/var/lib/docker:ro \ --volume=/dev/disk/:/dev/disk:ro \ --publish=8080:8080 \ --detach=true \ --name=cadvisor \ google/cadvisor:latest
同樣，我們也可以通過訪問 http://[Your Host IPs]:8080/metrics 來檢視cAdvisor提供的監控資料，如下圖所示：
如果能看到上圖，說明你的cAdvisor可以為Prometheus提供該Host的監控資料了。
2.4 執行Prometheus Server
這裡我們在主機A（表中的ECS1）上執行以下命令來執行Prometheus Server：
docker run -d -p 9090:9090 \ -v /edc/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml \ --name prometheus \ prom/prometheus
此外，這裡的prometheus.yml 是Prometheus Server的配置檔案，需要事先編輯好並放到指定目錄下（這裡是/edc/prometheus/目錄下）讓docker可以讀取到，內容如下：
global:
scrape_interval: 15s
evaluation_interval: 15s
external_labels:
monitor: 'edc-lab-monitor'
alerting:
alertmanagers:
- static_configs:
- targets:
# - alertmanager:9093
rule_files:
# - "first.rules"
# - "second.rules"
scrape_configs:
- job_name: 'prometheus'
static_configs:
- targets: ['47.102.140.100:9090']
- job_name: 'host'
static_configs:
- targets: ['47.102.140.100:9100','47.102.140.101:9100']
- job_name: 'container'
static_configs:
- targets: ['47.102.140.100:8080','47.102.140.101:8080']
這裡需要注意的配置是scrape_configs中的static_configs，裡面定義了Prometheus會從哪些Exporter中抓取監控資料，這裡指定了兩臺雲主機的Node Exporter與cAdvisor。
執行成功後，Prometheus容器已經建立好了，訪問這臺ECS1的地址：http://[ECS1 Host IP]:9090/metrics，如下圖所示：
然後，我們直接訪問http://[ECS1 Host IP]:9090，會進入Prometheus主頁：
單擊選單Status => Targets，會看到所有監控的目標Exporters：
可以看到所有監控目標的狀態都是Up，表示Prometheus Server可以正常獲取監控資料。
2.5 執行Grafana
這裡我們繼續在主機A（ECS1）上執行以下命令執行Grafana：
docker run -d -i -p 3000:3000 \ -e "GF_SERVER_ROOT_URL=http://grafana.server.name" \ -e "GF_SECURITY_ADMIN_PASSWORD=secret" \ grafana/grafana
-e "GF_SECURITY_ADMIN_PASSWORD=secret" 則指定了Admin使用者的密碼為secret，這裡你也可以隨你的意願改為你可以記得住的。
執行成功後，我們可以通過訪問：http://[ECS1 Host IP]:3000 看到以下Grafana的登入介面
下面幾個步驟用於初始化配置Grafana讓其可以展示監控資料儀表盤Dashboard：
Step1.登陸之後進入主頁，選擇引導頁，從"add data source"開始，第一步選擇時序資料庫，這裡選擇Prometheus
Step2.配置Prometheus Server地址及Name，完成後點選“Save&Test”：
Step3.回到引導主頁，選擇Add Dashboard按鈕，進入Dashboard頁，選擇Import Dashboard，進入下圖：
這裡選擇的Dashboard，你可以在grafana的dashboard官網的搜尋你喜歡的關於Docker監控主題的各種Dashboard樣式。這裡我們要做的就是將其ID（這裡我選擇的一個Docker監控的dashboard ID是193，其餘的我不記得了）複製到圖中的文字框中（當然，你也可以下載json並貼上進去）。
Step4.Grafana識別之後，就會顯示其詳情讓你確認。在確認頁選擇Prometheus的資料來源，這裡選擇我們剛剛新增的資料來源，然後點選Import即可完成匯入。
完成以上匯入Dashboard步驟之後，這裡我的Dashboard列表有了三個Dashboard：
這裡我們主要關注第一個（Docker-Monitor）和第三個（Host-Monitor），先來看第一個Dashboard，它主要是為我們展示Docker層次的監控面板：
從上圖可以看到兩臺Host中的所有容器監控資料一覽無遺。
第三個面板（Host-Monitor）的展示面板如下圖所示：
在上圖中，我們選擇的分組是Host，它主要是收集來自Node-Exporter中反饋的基於Host的監控資料，可以實時展示Host的關鍵指標。不過，它每次只能顯示單臺Host的資料，我們可以通過切換Host IP下拉列表檢視不同Host的效能資料。
此外，我們一般會將其投屏到工作區的電視上，所以我們可以點選下面這個按鈕以投屏模式顯示在電視上，供整個團隊及時檢視。
三、監控工具大比較
這裡我們仍然引用Cloud Man總結的一張表來看看：
毫無疑問，Prometheus作為生產級的監控方案，對其他幾個工具形成了壓倒性的優勢。而事實上，Prometheus + Grafana + cAdvisor這一套方案也是大家廣泛採用的結構。
四、小結
本文首先簡單介紹了Prometheus及其架構，然後通過搭建基於Prometheus + cAdvisor + Grafana的監控系統，能夠實現對於多臺雲主機的效能監控（包括Host和容器兩個層次的資料）。當然，Prometheus還有很多的配置和好玩的地方例如Alert Manager可以及時傳送告警通知等，筆者也只是初步把玩，還有很多東西不知道。後面我會分享引入K8S後，結合Prometheus + cAdvisor + Grafana實現K8S叢集的監控，敬請期待。
參考資料
Cloud Man，《每天5分鐘玩轉Docker容器技術》
無涯，《從零開始搭建Prometheus自動監控告警系統》
三無程式設計師，《Prometheus》
虎糾衛，《監控神器-普羅米修斯Prometheus》
項思凱，《Prometheus介紹詳解》
rj-bai，《Prometheus+Grafana打造全方位監控系統》
GeekerLou,《雲原生監控系統Prometheus》
Cloud Man，《一文搞懂各種容器監控方案》
作者：周旭龍
出處：https://edisonchou.cnblogs.com
本文版權歸作者和部落格園共有，歡迎轉載，但未經作者同意必須保留此段宣告，且在文章頁面明顯位置給出原文連結。