1. 程式人生 > >filebeat+kafkaLogstash+ElasticSearch+Kibana windows搭建 日誌分析系統

filebeat+kafkaLogstash+ElasticSearch+Kibana windows搭建 日誌分析系統

1. 瞭解各個元件的作用

Filebeat是一個日誌檔案託運工具,在你的伺服器上安裝客戶端後,filebeat會監控日誌目錄或者指定的日誌檔案,追蹤讀取這些檔案(追蹤檔案的變化,不停的讀)
Kafka是一種高吞吐量的分散式釋出訂閱訊息系統,它可以處理消費者規模的網站中的所有動作流資料
Logstash是一根具備實時資料傳輸能力的管道,負責將資料資訊從管道的輸入端傳輸到管道的輸出端;與此同時這根管道還可以讓你根據自己的需求在中間加上濾網,Logstash提供裡很多功能強大的濾網以滿足你的各種應用場景
ElasticSearch它提供了一個分散式多使用者能力的全文搜尋引擎,基於RESTful web介面
Kibana是ElasticSearch的使用者介面

在實際應用場景下,為了滿足大資料實時檢索的場景,利用Filebeat去監控日誌檔案,將Kafka作為Filebeat的輸出端,Kafka實時接收到Filebeat後以Logstash作為輸出端輸出,到Logstash的資料也許還不是我們想要的格式化或者特定業務的資料,這時可以通過Logstash的一些過了外掛對資料進行過濾最後達到想要的資料格式以ElasticSearch作為輸出端輸出,資料到ElasticSearch就可以進行豐富的分散式檢索了

用logstash-input-jdbc 做mysql和es之間資料同步