Windows下搭建ELK日誌分析平臺

阿新 • • 發佈：2019-01-21

ELK介紹

需求背景：

業務發展越來越龐大，伺服器越來越多
各種訪問日誌、應用日誌、錯誤日誌量越來越多，導致運維人員無法很好的去管理日誌
開發人員排查問題，需要到伺服器上查日誌，不方便
運營人員需要一些資料，需要我們運維到伺服器上分析日誌

為什麼要用到ELK：

一般我們需要進行日誌分析場景：直接在日誌檔案中 grep、awk 就可以獲得自己想要的資訊。但在規模較大也就是日誌量多而複雜的場景中，此方法效率低下，面臨問題包括日誌量太大如何歸檔、文字搜尋太慢怎麼辦、如何多維度查詢。需要集中化的日誌管理，所有伺服器上的日誌收集彙總。常見解決思路是建立集中式日誌收集系統，將所有節點上的日誌統一收集，管理，訪問。

大型系統通常都是一個分散式部署的架構，不同的服務模組部署在不同的伺服器上，問題出現時，大部分情況需要根據問題暴露的關鍵資訊，定位到具體的伺服器和服務模組，構建一套集中式日誌系統，可以提高定位問題的效率。

一個完整的集中式日誌系統，需要包含以下幾個主要特點：

收集－能夠採集多種來源的日誌資料
傳輸－能夠穩定的把日誌資料傳輸到中央系統
儲存－如何儲存日誌資料
分析－可以支援 UI 分析
警告－能夠提供錯誤報告，監控機制

而ELK則提供了一整套解決方案，並且都是開源軟體，之間互相配合使用，完美銜接，高效的滿足了很多場合的應用。是目前主流的一種日誌系統。

ELK簡介：

ELK是三個開源軟體的縮寫，分別為：Elasticsearch 、 Logstash以及Kibana , 它們都是開源軟體。不過現在還新增了一個Beats，它是一個輕量級的日誌收集處理工具(Agent)，Beats佔用資源少，適合於在各個伺服器上搜集日誌後傳輸給Logstash，官方也推薦此工具，目前由於原本的ELK Stack成員中加入了 Beats 工具所以已改名為Elastic Stack。

Elastic Stack包含：

Elasticsearch是個開源分散式搜尋引擎，提供蒐集、分析、儲存資料三大功能。它的特點有：分散式，零配置，自動發現，索引自動分片，索引副本機制，restful風格介面，多資料來源，自動搜尋負載等。詳細可參考Elasticsearch權威指南
Logstash 主要是用來日誌的蒐集、分析、過濾日誌的工具，支援大量的資料獲取方式。一般工作方式為c/s架構，client端安裝在需要收集日誌的主機上，server端負責將收到的各節點日誌進行過濾、修改等操作在一併發往elasticsearch上去。
Kibana 也是一個開源和免費的工具，Kibana可以為 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 介面，可以幫助彙總、分析和搜尋重要資料日誌。
Beats在這裡是一個輕量級日誌採集器，其實Beats家族有6個成員，早期的ELK架構中使用Logstash收集、解析日誌，但是Logstash對記憶體、cpu、io等資源消耗比較高。相比 Logstash，Beats所佔系統的CPU和記憶體幾乎可以忽略不計

ELK Stack （5.0版本之後）--> Elastic Stack == （ELK Stack + Beats）。目前Beats包含六種工具：

Packetbeat：網路資料（收集網路流量資料）
Metricbeat：指標（收集系統、程序和檔案系統級別的 CPU 和記憶體使用情況等資料）
Filebeat：日誌檔案（收集檔案資料）
Winlogbeat： windows事件日誌（收集 Windows 事件日誌資料）
Auditbeat：審計資料（收集審計日誌）
Heartbeat：執行時間監控（收集系統執行時的資料）

關於x-pack工具：

x-pack對Elastic Stack提供了安全、警報、監控、報表、圖表於一身的擴充套件包，是收費的，所以本文不涉及x-pack的安裝

ELK官網：

中文指南：

ELK架構圖：

安裝logstash

1.下載 https://www.elastic.co/cn/downloads/logstash

2.解壓

3.bin目錄新建 logstash.conf

input output的配置可參考https://blog.csdn.net/m0_37886429/article/details/72385641 最簡單的為

input {

stdin{

}

output {

stdout{

}

因為我的日誌在 E:/logs/gamelifequery/interface.log

採用

input {

file {

path => "E:/logs/gamelifequery/interface.log"

}

output {

###elasticsearch可以先不配置，等安裝好elasticsearch在配置

elasticsearch {
hosts => ["127.0.0.1:9200"]
index => "5866mall"
}

stdout { codec => rubydebug }

}

Java程式碼中日誌按照json格式輸出

啟動

bin目錄下，命令列執行logstash -f logstash.conf

安裝elasticsearch

2.解壓

安裝kibana

2.解壓

3.修改config/kibana.yml檔案，配置elasticsearch.url: "http://localhost:9200"

4.使用

配置新增index

如下圖，配置在kibana的management選單中配置index，先填寫索引名，時間可以選擇@timestamp

5866*為下面列表展示裡面選，在logstash應用的 logstash.conf裡output 配置 index

elasticsearch {
hosts => ["127.0.0.1:9200"]
index => "5866mall"
}

資料瀏覽檢索
在Discover選單中，可以預覽查詢資料，可以通過新增過濾條件來篩選資料

Windows下搭建ELK日誌分析平臺

ELK介紹

Windows下搭建ELK日誌分析平臺

在Windows系統下搭建ELK日誌分析平臺

搭建ELK日誌分析平臺（下）—— 搭建kibana和logstash伺服器

搭建ELK日誌分析平臺-分布式集群

搭建ELK日誌分析平臺（上）—— ELK介紹及搭建 Elasticsearch 分散式叢集

ubuntu16.04 快速搭建ELK日誌分析平臺

win10下安裝ELK日誌分析平臺踩坑記錄

ELK日誌分析平臺系統windows環境搭建和基本使用

ELK搭建實時日誌分析平臺(elk+kafka+metricbeat)-搭建說明

ELK搭建實時日誌分析平臺(elk+kafka+metricbeat)-KAFKA搭建

ELK日誌分析平臺搭建全程

資深架構師教你如何使用elk+redis搭建nginx日誌分析平臺！

ELK日誌分析平臺搭建

【ELK筆記】ELK的安裝，快速搭建一個ELK日誌分析平臺

ELK(ElasticSearch, Logstash, Kibana)搭建實時日誌分析平臺筆記

ELK搭建實時日誌分析平臺

ELK(ElasticSearch, Logstash, Kibana)搭建實時日誌分析平臺

ELK(ElasticSearch, Logstash, Kibana)+ SuperVisor + Springboot + Logback 搭建實時日誌分析平臺

ELK日誌分析平臺部署實錄

極速賽車平臺出租與ELK日誌分析平臺

Windows下搭建ELK日誌分析平臺

ELK介紹

相關推薦