初探 ELK - 每天5分鐘玩轉 Docker 容器技術(89)
在開源的日誌管理方案中,最出名的莫過於 ELK 了。ELK 是三個軟件的合稱:Elasticsearch、Logstash、Kibana。
Elasticsearch
一個近乎實時查詢的全文搜索引擎。Elasticsearch 的設計目標就是要能夠處理和搜索巨量的日誌數據。
Logstash
讀取原始日誌,並對其進行分析和過濾,然後將其轉發給其他組件(比如 Elasticsearch)進行索引或存儲。Logstash 支持豐富的 Input 和 Output 類型,能夠處理各種應用的日誌。
Kibana
一個基於 JavaScript 的 Web 圖形界面程序,專門用於可視化 Elasticsearch 的數據。Kibana 能夠查詢 Elasticsearch 並通過豐富的圖表展示結果。用戶可以創建 Dashboard 來監控系統的日誌。
本節將討論如何用 ELK 這組黃金搭檔來監控 Docker 容器的日誌。
日誌處理流程
下圖展示了 Docker 部署環境下典型的 ELK 日誌處理流程:
Logstash 負責從各個 Docker 容器中提取日誌,Logstash將日誌轉發到 Elasticsearch 進行索引和保存,Kibana 分析和可視化數據。
下面開始實踐這套流程。
安裝 ELK 套件
ELK 的部署方案可以非常靈活,在規模較大的生產系統中,ELK 有自己的集群,實現了高可用和負載均衡。我們的目標是在最短的時間內學習並實踐 ELK,因此將采用最小部署方案:在容器中搭建 ELK。
docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk
我們使用的是 sebp/elk
這個現成的 image,裏面已經包含了整個 ELK stack。容器啟動後 ELK 各組件將分別監聽如下端口:
5601 - Kibana web 接口
9200 - Elasticsearch JSON 接口
5044 - Logstash 日誌接收接口
先訪問一下 Kibana http://[Host IP]:5601/ 看看效果。
當前 Kibana 沒有可顯示的數據,因為當前 Elasticsearch 還沒有任何日誌數據。
訪問一下 Elasticsearch 的 JSON 接口 http://[Host IP]:9200/_search?pretty
確實,目前 Elasticsearch 沒有與日誌相關的 index
。
接下來的工作就是將 Docker 的日誌導入 ELK,我們下一節完成。
書籍:
1.《每天5分鐘玩轉Docker容器技術》
https://item.jd.com/16936307278.html
2.《每天5分鐘玩轉OpenStack》
https://item.jd.com/12086376.html
初探 ELK - 每天5分鐘玩轉 Docker 容器技術(89)