1. 程式人生 > >Linux作業系統安裝ELK stack日誌管理系統--(2)Elasticsearch與Kibana的安裝與使用以及和Logstash的連線

Linux作業系統安裝ELK stack日誌管理系統--(2)Elasticsearch與Kibana的安裝與使用以及和Logstash的連線

上一篇:

上一篇介紹了Logstash和Filebeat的安裝,以及使用Filebeat作為Logstash輸入進行資料的獲取,接下來將學習一下Elasticsearch與Kibana的安裝與使用以及如何與Logstash的連線,打通整個ELK的流程!

前言

Elasticsearch是一個高度可擴充套件的開源全文搜尋和分析引擎。它允許您快速和近實時地儲存,搜尋和分析大量資料。

Kibana作為日誌的過濾web展示,圖形介面話操作日誌記錄。別名Elasticsearch Dashboard 顧名思義是基於遊覽器的Elasticsearch分析和儀表盤工具。

Elasticsearch的安裝

一、Elasticsearch下載和解壓

這裡寫圖片描述

使用wget命令下載到伺服器指定目錄:

這裡寫圖片描述

使用 tar -xvf elasticsearch-5.2.1.tar 命令解壓,使用cd命令進入資料夾目錄:

這裡寫圖片描述

二、啟動Elasticsearch

進入bin目錄,使用./elasticsearch 命令啟動elasticsearch:

這裡寫圖片描述

,如果沒有出現報錯資訊的話!這個時候,已經成功啟動了!

二、將Logstash和Elasticsearch進行關聯

這裡寫圖片描述

根據上圖可以看到需要將Logstash和Elasticsearch進行關聯,這樣的話才可以將資料輸入到Elasticsearch進行處理。

(1)配置Logstash將stdout標準輸出設定為Elasticsearch

修改上一篇文章中自己定義的配置檔案 logstash.conf,修改為如下內容:

input {
    beats {
        port => "5044"
    }
}
 filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
    geoip {
        source => "clientip"
    }
}
output {
    elasticsearch {
        hosts => [ "localhost:9200"
] } }

這裡寫圖片描述

其中,新增了兩個filter外掛,這個後期再進行學習,然後output輸出為elasticsearch,退出儲存!

(2)啟動Filebeat

./filebeat -e -c filebeat.yml -d "publish"

(3)啟動Logstash

 bin/logstash -f logstash.conf

這裡寫圖片描述

(4)檢視Elasticsearch的反應

這裡寫圖片描述

到此Elasticsearch安裝完成,也和Logstash進行了關聯,下邊安裝Kibana進行視覺化的操作。

Kibana的安裝與使用

Kibana是一個開源的分析和視覺化平臺,旨在與Elasticsearch一起工作。您使用Kibana搜尋,檢視和與儲存在Elasticsearch索引中的資料進行互動。您可以輕鬆地在各種圖表,表格和地圖中執行高階資料分析和視覺化資料。

一、Kibana下載與解壓

這裡寫圖片描述

同樣右鍵複製下載連結!

使用wget命令進行下載:

這裡寫圖片描述

使用tar -xvf kibana-5.2.1-linux-x86_64.tar.gz命令進行解壓,進入目錄:

這裡寫圖片描述

二、配置Kibana

Kibana的配置檔案是在config/kibana.yml

(1)修改主機繫結的IP地址:

這裡寫圖片描述

將IP地址修改為 0.0.0.0 表示全匹配!

(2)指定要進行連線到Elasticsearch

這裡寫圖片描述

這裡,由於全部是在一臺機子上進行的實驗,因此預設就可以,也就是

elasticsearch.url: "http://localhost:9200"

三、啟動Kibana

在bin目錄下使用命令: ./kibana 啟動:

這裡寫圖片描述

紅色框中內容表示Kibana正在5601埠監聽,使用遊覽器訪問!

* 四、訪問Kibana*

首先確保你是用的Liunx伺服器開啟了5601埠!

這裡寫圖片描述

看到介面,然後配置index,點選create!

只要你的 Tomcat產生了日誌,就可以在Discover中看到,如果進入之後看不到任何結果,可能是你的Tomcat未產生日誌:

這裡寫圖片描述

至此!Elasticsearch與Kibana的安裝已經完成!貫穿了從Filebeat達到logstash,再到Elasticsearch和Kibana的整個過程!

總結

當然,這只是跑通了最簡單的配置操作。對於ELK的知識還有很多需要學習,後期也會把一些學習中遇到的問題和經驗寫出來和大家一起分享!