1. 程式人生 > >Google監控系統BorgMon相似實現普羅米修斯Prometheus(一)

Google監控系統BorgMon相似實現普羅米修斯Prometheus(一)

最近一直在折騰時序型別的資料庫,經過一段時間專案應用,覺得十分不錯。而Prometheus又是剛剛推出不久的開源方案,中文資料較少,所以打算寫一系列應用的實踐過程分享一下。

Prometheus 是什麼?

Prometheus是一套開源的監控&報警&時間序列資料庫的組合,起始是由SoundCloud公司開發的。隨著發展,越來越多公司和組織接受採用Prometheus,社會也十分活躍,他們便將它獨立成開源專案,並且有公司來運作。google SRE的書內也曾提到跟他們BorgMon監控系統相似的實現是Prometheus。現在最常見的Kubernetes容器管理系統中,通常會搭配Prometheus進行監控。

Prometheus 的優點

  • 非常少的外部依賴,安裝使用超簡單
  • 已經有非常多的系統整合 例如:docker HAProxy Nginx JMX等等
  • 服務自動化發現
  • 直接整合到程式碼
  • 設計思想是按照分散式、微服務架構來實現的

Prometheus 的特性

  • 自定義多維度的資料模型
  • 非常高效的儲存 平均一個取樣資料佔 ~3.5 bytes左右,320萬的時間序列,每30秒取樣,保持60天,消耗磁碟大概228G。
  • 強大的查詢語句
  • 輕鬆實現資料視覺化

等等

相對於Graphite這種產品,還是有不少優點的。最讓我覺得不錯的是非常優秀的寫效能和讀取效能,它資料結構實現和OpenTSDB是有相似之處,有興趣可以看看這個文件。

解密OpenTSDB的表儲存優

Prometheus 的系統架構

它的服務過程是這樣的 Prometheus daemon 負責定時去目標上抓取 metrics(指標) 資料,每個抓取目標需要暴露一個http服務的介面給它定時抓取。
Prometheus支援通過配置檔案、文字檔案、zookeeper、Consul、DNS SRV lookup等方式指定抓取目標。
Alertmanager 是獨立於Prometheus的一個元件,可以支援Prometheus的查詢語句,提供十分靈活的報警方式。
Prometheus支援很多方式的圖表視覺化,例如十分精美的Grafana,自帶的Promdash,以及自身提供的模版引擎等等,還提供HTTP API的查詢方式,自定義所需要的輸出。
PushGateway這個元件是支援Client主動推送 metrics 到PushGateway,而Prometheus只是定時去Gateway上抓取資料。

如果有使用過statsd的使用者,則會覺得這十分相似,只是statsd是直接傳送給伺服器端,而Prometheus主要還是靠程序主動去抓取。

Prometheus 的資料模型

Prometheus 從根本上所有的儲存都是按時間序列去實現的,相同的 metrics(指標名稱) 和 label(一個或多個標籤) 組成一條時間序列,不同的label表示不同的時間序列。為了支援一些查詢,有時還會臨時產生一些時間序列儲存。

metrics name & label 指標名稱和標籤

每條時間序列是由唯一的 指標名稱 和 一組 標籤 (key=value)的形式組成。
指標名稱 一般是給監測對像起一名字,例如 http_requests_total 這樣,它有一些命名規則,可以包字母數字_之類的的。
通常是以應用名稱開頭_監測對像_數值型別_單位這樣。
例如:

  1. push_total
  2. userlogin_mysql_duration_seconds
  3. app_memory_usage_bytes

標籤 就是對一條時間序列不同維度的識別了,例如 一個http請求用的是POST還是GET,它的endpoint是什麼,這時候就要用標籤去標記了。
最終形成的標識便是這樣了

http_requests_total{method=”POST”,endpoint=”/api/tracks”}

記住,針對http_requests_total這個metrics name 無論是增加標籤還是刪除標籤都會形成一條新的時間序列。
查詢語句就可以跟據上面標籤的組合來查詢聚合結果了。
如果以傳統資料庫的理解來看這條語句,則可以考慮 http_requests_total是表名,標籤是欄位,而timestamp是主鍵,還有一個float64欄位是值了。(Prometheus裡面所有值都是按float64儲存)

Prometheus 的四種資料型別

Counter

  • Counter 用於累計值,例如 記錄 請求次數、任務完成數、錯誤發生次數。
  • 一直增加,不會減少。
  • 重啟程序後,會被重置。

例如:http_response_total{method=”GET”,endpoint=”/api/tracks”} 100
10秒後抓取 http_response_total{method=”GET”,endpoint=”/api/tracks”} 100

Gauge

  • Gauge 常規數值,例如 溫度變化、記憶體使用變化。
  • 可變大,可變小。
  • 重啟程序後,會被重置

例如: memory_usage_bytes{host=”master-01″} 100 < 抓取值
memory_usage_bytes{host=”master-01″} 30
memory_usage_bytes{host=”master-01″} 50
memory_usage_bytes{host=”master-01″} 80 < 抓取值

Histogram

  • Histogram 可以理解為柱狀圖的意思,常用於跟蹤事件發生的規模,例如:請求耗時、響應大小。它特別之處是可以對記錄的內容進行分組,提供 count 和 sum 全部值的功能。

    例如:{小於10=5次,小於20=1次,小於30=2次},count=7次,sum=7次的求和值

Summary

  • Summary和Histogram十分相似,常用於跟蹤事件發生的規模,例如:請求耗時、響應大小。同樣提供 count 和 sum 全部值的功能。
  • 例如:count=7次,sum=7次的值求值
  • 它提供一個quantiles的功能,可以按%比劃分跟蹤的結果。例如:quantile取值0.95,表示取取樣值裡面的95%資料。

下一章說說Prometheus安裝過程。

原文出處:http://www.cnblogs.com/vovlie/p/Prometheus_CONCEPTS.html