1. 程式人生 > >ELK 完整部署和使用 - 每天5分鐘玩轉 Docker 容器技術(90)

ELK 完整部署和使用 - 每天5分鐘玩轉 Docker 容器技術(90)

docker 教程 容器

上一節已經部署了容器化的 ELK,本節討論如何將日誌導入 ELK 並進行圖形化展示。

幾乎所有的軟件和應用都有自己的日誌文件,容器也不例外。前面我們已經知道 Docker 會將容器日誌記錄到 /var/lib/docker/containers/<contariner ID>/<contariner ID>-json.log,那麽只要我們能夠將此文件發送給 ELK 就可以實現日誌管理。

要實現這一步其實不難,因為 ELK 提供了一個配套小工具 Filebeat,它能將指定路徑下的日誌文件轉發給 ELK。同時 Filebeat 很聰明,它會監控日誌文件,當日誌更新時,Filebeat 會將新的內容發送給 ELK。

安裝 Filebeat

下面在 Docker Host 中安裝和配置 Filebeat。

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.0-amd64.debsudo dpkg -i filebeat-5.4.0-amd64.deb

當你看到這篇文章時,Filebeat 可能已經有了更新的版本,請參考最新的安裝文檔 https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-installation.html

配置 Filebeat

Filebeat 的配置文件為

/etc/filebeat/filebeat.yml,我們需要告訴 Filebeat 兩件事:

  1. 監控哪些日誌文件?

  2. 將日誌發送到哪裏?

首先回答第一個問題。

技術分享

paths 中我們配置了兩條路徑:

  1. /var/lib/docker/containers/*/*.log 是所有容器的日誌文件。

  2. /var/log/syslog 是 Host 操作系統的 syslog。

接下來告訴 Filebeat 將這些日誌發送給 ELK。

Filebeat 可以將日誌發送給 Elasticsearch 進行索引和保存;也可以先發送給 Logstash 進行分析和過濾,然後由 Logstash 轉發給 Elasticsearch。

為了不引入過多的復雜性,我們這裏將日誌直接發送給 Elasticsearch。

技術分享

如果要發送給 Logstash,可參考後半部分的註釋。

當前的日誌處理流程如下圖所示:

技術分享

啟動 Filebeat

Filebeat 安裝時已經註冊為 systemd 的服務,可以直接啟動服務。

systemctl start filebeat.service

管理日誌

Filebeat 啟動後,正常情況下會將監控的日誌發送給 Elasticsearch。刷新 Elasticsearch 的 JSON 接口 http://[Host IP]:9200/_search?pretty 進行確認。

技術分享

這次我們能夠看到 filebeat-* index,以及 Filebeat 監控的那兩個路徑下的日誌。

好,Elasticsearch 已經創建了日誌的索引並保存起來,接下來是在 Kibana 中展示日誌。

首先需要配置一個 index pattern,即告訴 Kibana 查詢和分析 Elasticsearch 中的哪些日誌。

技術分享

指定 index pattern filebeat-*,這與 Elasticsearch 中的 index一致。

Time-field name 選擇 @timestamp

點擊 Create 創建 index pattern

點擊 Kibana 左側 Discover 菜單,便可看到容器和 syslog 日誌信息。

技術分享

下面我們啟動一個新的容器,該容器將向控制臺打印信息,模擬日誌輸出。

docker run busybox sh -c ‘while true; do echo "This is a log message from container busybox!"; sleep 10; done;‘

技術分享

刷新 Kibana 頁面或者點擊右上角 技術分享 圖標,馬上就能看到 busybox 的日誌。


技術分享

Kibana 也提供了強大的查詢功能,比如輸入關鍵字 busybox 能搜索出所有匹配的日誌條目。

技術分享

我們這裏只是簡單地將日誌導入 ELK 並樸素地顯示出來,實際上 ELK 還可以對日誌進行歸類匯總、分析聚合、創建炫酷的 Dashboard 等,可以挖掘的內容很多,玩法很豐富。由於這個教程的重點是容器,這裏就不過多展開。下面這張圖可以感受一下 ELK 的能力,更多的功能留給大家自己去探索。

技術分享

ELK 咱們就討論到這裏,下一節學習 Fluentd。

書籍:
1.《每天5分鐘玩轉Docker容器技術》
https://item.jd.com/16936307278.html

2.《每天5分鐘玩轉OpenStack》
https://item.jd.com/12086376.html

技術分享

ELK 完整部署和使用 - 每天5分鐘玩轉 Docker 容器技術(90)