第一節 elk日誌分析 大資料日誌 win7 64位搭建elk
阿新 • • 發佈：2019-01-29
一 ELK 背景
日誌主要包括系統日誌、應用程式日誌和安全日誌。系統運維和開發人員可以通過日誌瞭解伺服器軟硬體資訊、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以瞭解伺服器的負荷，效能安全性，從而及時採取措施糾正錯誤。通常，日誌被分散的儲存不同的裝置上。如果你管理數十上百臺伺服器，你還在使用依次登入每臺機器的傳統方法查閱日誌。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日誌管理，例如：開源的 syslog ，將所有伺服器上的日誌收集彙總。
集中化管理日誌後，日誌的統計和檢索又成為一件比較麻煩的事情，一般我們使用grep 、 awk 和 wc 等 Linux 命令能實現檢索和統計，但是對於要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。
二 ELK 簡介
ELK 是ElasticSearch、Logstash和Kibana三個應用的縮寫。Logstash是一個完全開源的工具，它可以對你的日誌進行收集、分析，並將其儲存供以後使用；
Elasticsearch是個開源分散式搜尋引擎，其特點有：分散式，零配置，自動發現，索引自動分片，索引副本機制， restful風格介面，多資料來源，自動搜尋負載等；Kibana也是一個開源和免費的工具，可以為Logstash和ElasticSearch提供的日誌分析友好的Web介面，可以幫助彙總、分析和搜尋重要資料日誌。真正執行客戶請求的伺服器，執行的服務有WEB、MAIL、FTP和DNS等。
在需要收集日誌的所有服務上部署logstash ，作為logstash agent（logstash shipper）用於監控並過濾收集日誌，將過濾後的內容傳送到logstash indexer ， logstash indexer 將日誌收集在一起交給全文搜尋服務 ElasticSearch ，可以用 ElasticSearch進行自定義搜尋通過 Kibana 來結合自定義搜尋進行頁面展示。
三ELK 架構圖
以上是elk簡介，下節搭建環境