AspNet Core 下利用普羅米修斯+Grafana構建Metrics和伺服器效能的監控 (無心打造文字不喜勿噴謝謝！)
概述
Prometheus是一套開源的監控&報警&時間序列資料庫的組合,起始是由SoundCloud公司開發的。該專案有非常活躍的社群和開發人員，目前是獨立的開源專案，現在最常見的Kubernetes容器管理系統中，通常也會搭配Prometheus進行監控。
prometheus大多陣列件都是用Go編寫的，他們可以非常輕鬆的基於二進位制檔案部署和構建
Prometheus的主要特點
- 自定義多維資料模型(時序列資料由metric名和一組key/value標籤組成)
- 內建PromQL是一種靈活的多維度查詢語言
- 不依賴分散式儲存; 支援單個伺服器節點自治工作
- 基於HTTP的pull方式採集時序資料
- 可以通過push gateway進行時序列資料推送(pushing)
- 可以通過服務發現或者靜態配置去獲取要採集的目標伺服器
- 內建簡單實用的視覺化圖表及儀表盤
元件
-
(Prometheus server)最主要的就是Prometheus Server，它用來收集和儲存時序資料
-
(client libraries) 客戶端用來檢測被監控的應用程式程式碼
-
(push gateway) 支援瞬時的閘道器推送處理
-
(*. exporters)包括對 HAProxy, StatsD, Graphite等的額外支援
-
（alertmanager）監控預警管理、以及各種工具
-
大量的支援工具
結構圖

適用場景
Prometheus能夠更好的記錄數字型別的時序資料，它既可用於對伺服器自身效能引數的監視，也適用於高度動態的面向各個服務的監視。在微服務的場景中，它對多維資料收集和查詢的支援有很特殊的優勢。
為可靠性而設計的Prometheus可以讓您在宕機的時候快速診斷分析問題。每個Prometheus伺服器都是獨立的，不依賴於網路儲存或其他遠端服務，當基礎結構的其他部分損壞時，您可以依賴它，並且不需要設定更多額外的基礎結構來使用它。
不適用場景
Prometheus非常重視可靠性，即使在發生故障的情況下，你也可以檢視有關係統中的可用統計資訊，但是如果你需要百分之百精準統計（如：每次賬單請求資訊）對Prometheus而言是不適用的，因為收集的資料可能不夠詳細和完整。在這種情況下，最好使用其他系統來收集和分析資料，並使用Prometheus進行其餘額外的監視。
安裝node_exporter，系統性能指數收集（收集系統性能情況）
node_exporter 主要用於系統監控, 用 Golang 編寫，其預設是9100埠,可以通過/metrics訪問
下載檔案
cd /tmp
解壓並複製node_exporter應用程式到/usr/local/bin
tar xvf node_exporter-0.17.0.linux-amd64.tar.gzsudo cp node_exporter-0.17.0.linux-amd64/node_exporter /usr/local/binsudo chown node_exporter:node_exporter /usr/local/bin/node_exporter
清理下載的檔案和解壓的資料夾
rm -rf node_exporter-0.17.0.linux-amd64.tar.gz node_exporter-0.17.0.linux-amd64
新增自啟動服務
新增服務配置檔案
sudo vim /etc/systemd/system/node_exporter.service
寫入配置內容
[Unit]Description=Node ExporterWants=network-online.targetAfter=network-online.target [Service]User=node_exporterGroup=node_exporterType=simpleExecStart=/usr/local/bin/node_exporter [Install]WantedBy=multi-user.target
node_exporter收集效能點的配置
預設node_exporter會啟動一些收集器，你也可以通過服務配置檔案進行配置
比如：
ExecStart=/usr/local/bin/node_exporter --collectors.enabled meminfo,hwmon,entropy
啟動服務並配置自啟動
sudo systemctl daemon-reloadsudo systemctl enable node_exportersudo systemctl start node_exportersudo systemctl status node_exporter
prometheus的安裝
新增prometheus專用的使用者名稱
sudo useradd --no-create-home --shell /usr/sbin/nologin prometheus
sudo useradd --no-create-home --shell /bin/false node_exporter
新增prometheus的目錄
sudo mkdir /etc/prometheus
sudo mkdir /var/lib/prometheus
資料夾授權
sudo chown prometheus:prometheus /etc/prometheus
sudo chown prometheus:prometheus /var/lib/prometheus
下載並解壓prometheus
tar xfz prometheus-2.8.0.linux-amd64.tar.gz
cd cd prometheus-2.8.0.linux-amd64
拷貝可執行檔案到/usr/local/bin
sudo cp ./prometheus /usr/local/bin/sudo cp ./promtool /usr/local/bin/
授予檔案許可權
sudo chown prometheus:prometheus /usr/local/bin/prometheussudo chown prometheus:prometheus /usr/local/bin/promtool
拷貝目錄
sudo cp -r ./console_libraries /etc/prometheussudo cp -r ./consoles /etc/prometheus
授權資料夾
sudo chown -R prometheus:prometheus /etc/prometheus/consolessudo chown -R prometheus:prometheus /etc/prometheus/console_libraries
清理無用的下載檔案和解壓的資料夾
cd .. && rm -rf prometheus-*
建立Prometheus配置檔案
sudo vim /etc/prometheus/prometheus.yml
注意YML配置檔案的縮排
global: scrape_interval:15s evaluation_interval: 15s scrape_configs: - job_name: 'prometheus' static_configs: - targets: ['localhost:9090'] - job_name: 'node_exporter' scrape_interval: 5s static_configs: - targets: ['localhost:9100']
配置所有者
sudo chown prometheus:prometheus /etc/prometheus/prometheus.yml
啟動prometheus
sudo -u prometheus /usr/local/bin/prometheus --config.file /etc/prometheus/prometheus.yml --storage.tsdb.path /var/lib/prometheus/ --web.console.templates=/etc/prometheus/consoles --web.console.libraries=/etc/prometheus/console_libraries
檢測
http://伺服器ip:9090

配置自啟動
sudo vim /etc/systemd/system/prometheus.service
[Unit] Description=Prometheus Monitoring Wants=network-online.target After=network-online.target [Service] User=prometheus Group=prometheus Type=simple ExecStart=/usr/local/bin/prometheus \ --config.file /etc/prometheus/prometheus.yml \ --storage.tsdb.path /var/lib/prometheus/ \ --web.console.templates=/etc/prometheus/consoles \ --web.console.libraries=/etc/prometheus/console_libraries ExecReload=/bin/kill -HUP $MAINPID [Install] WantedBy=multi-user.target
sudo systemctl daemon-reloadsudo systemctl enable prometheussudo systemctl start prometheussudo systemctl status prometheus
配置安裝Grafna
cd /tmp
wget https://dl.grafana.com/oss/release/grafana-6.0.1-1.x86_64.rpm
sudo yum localinstall grafana-6.0.1-1.x86_64.rpm
配置自啟動
sudo systemctl daemon-reload && sudo systemctl enable grafana-server && sudo systemctl start grafana-server
登入
啟動grafana後可以通過http://ip:3000登入

初始使用者名稱和密碼都是 admin
初次登入後會要求修改密碼
配置資料來源到之前的Prometheus

選擇Prometheus資料來源


配置儀表盤
安裝餅圖外掛
grafana-cli plugins install grafana-piechart-panel
匯入儀表樣本
樣本來源，開啟瀏覽器開啟如下地址並記錄id
https://grafana.com/dashboards/8919


選擇Import

然後輸入之前記錄的id

選擇prometheus的資料來源,之後開啟dashboard就可以看到漂亮的儀表盤了

AspNet Core App Metrics的監控配置
nuget安裝包
App.Metrics.Formatters.PrometheusApp.Metrics.AspNetCore
修改program.cs
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Threading.Tasks;
using App.Metrics;
using App.Metrics.AspNetCore;
using App.Metrics.Formatters;
using App.Metrics.Formatters.Prometheus;
using Microsoft.AspNetCore;
using Microsoft.AspNetCore.Hosting;
using Microsoft.Extensions.Configuration;
using Microsoft.Extensions.Logging;
namespace PrometheusAppMetricsDemo
{
public static class Program
{
public static IMetricsRoot Metrics { get; set; }
public static IWebHost BuildWebHost(string[] args)
{
Metrics = AppMetrics.CreateDefaultBuilder()
.OutputMetrics.AsPrometheusPlainText()
.OutputMetrics.AsPrometheusProtobuf()
.Build();
return WebHost.CreateDefaultBuilder(args)
.ConfigureMetrics(Metrics)
.UseMetrics(
options =>
{
options.EndpointOptions = endpointsOptions =>
{
endpointsOptions.MetricsTextEndpointOutputFormatter = Metrics.OutputMetricsFormatters
.GetType<MetricsPrometheusTextOutputFormatter>();
endpointsOptions.MetricsEndpointOutputFormatter = Metrics.OutputMetricsFormatters
.GetType<MetricsPrometheusProtobufOutputFormatter>();
};
})
.UseKestrel(options => options.Listen(IPAddress.Any, 5000))
.UseStartup<Startup>()
.Build();
}
public static void Main(string[] args)
{
BuildWebHost(args).Run();
}
}
}
配置prometheus的job
global:
scrape_interval:15s
evaluation_interval: 15s
scrape_configs:
- job_name: 'prometheus'
static_configs:
- targets: ['localhost:9090']
- job_name: 'node_exporter'
scrape_interval: 5s
static_configs:
- targets: ['localhost:9100']
- job_name: 'netcoreprometheus'
scrape_interval: 5s
scheme: https
tls_config:
insecure_skip_verify: true
metrics_path: /metrics-text
static_configs:
- targets: ['{demo_ip}:{demoport}']
為什麼是metrics-text 參見appmetrics官方解釋
/metrics-text will return metrics in Prometheus plain text format and /> metrics in Prometheus protobuf format.
重啟prometheus
sudo systemctl restart prometheussudo systemctl status prometheus

配置Grafana儀表盤
直接可以用的儀表盤 地址 ：
按之前配置的方式配置完成後，就可以看到grafana正常的從prometheus收集資料並展示了
