elasticsearch整合logstash日誌收集
Elasticsearch+Logstash+Kiabana環境安裝 虛擬機器建議記憶體設定為2G
Elasticsearch環境安裝
https://blog.csdn.net/qq_38270106/article/details/84309702
Logstash環境安裝
1、下載logstash安裝包
https://pan.baidu.com/s/1-q0eJW1MZZqlqiUERdrzcQ
2、上傳、解壓
cd /usr/local
tar –zxvf logstash-6.4.3.tar.gz
3、在config目錄下新建logstash.conf
cd /usr/local/logstash-6.4.3/config
vi logstash.conf
標準列印,在檔案中加入如下內容
input { # 從檔案讀取日誌資訊 輸送到控制檯 file { # 日誌檔案的路徑 這裡以es的log路徑為例 path => "/usr/local/elasticsearch-6.4.3/logs/myes.log" codec => "json" ## 以JSON格式讀取日誌 type => "elasticsearch" start_position => "beginning" } } # filter { # # } output { # 標準輸出 # stdout {} # 輸出進行格式化,採用Ruby庫來解析日誌 stdout { codec => rubydebug } }
啟動logstash
cd /usr/local/logstash-6.4.3/bin
./logstash -f ../config/logstash.conf
啟動ES
cd /usr/local/elasticsearch-6.4.3/bin
su liuwqboy
./elasticsearch
日誌已經被logstash收集起來了
logstash收集日誌,並持久化到ES伺服器
在config目錄下新建logstash2.conf 讀入並且讀出日誌資訊
cd /usr/local/logstash-6.4.3/config
vi logstash2.conf
input {
# 從檔案讀取日誌資訊 輸送到控制檯
file {
path => "/usr/local/elasticsearch-6.4.3/logs/my-application.log"
codec => "json" ## 以JSON格式讀取日誌
type => "elasticsearch"
start_position => "beginning"
}
}
# filter {
#
# }
output {
# 標準輸出
# stdout {}
# 輸出進行格式化,採用Ruby庫來解析日誌
stdout { codec => rubydebug }
# 把收集的日誌持久化到ES伺服器
elasticsearch {
hosts => ["192.168.33.129:9200"]
index => "es-%{+YYYY.MM.dd}"
}
}
分別啟動logstash和ES
注意:logstash要指定logstash2.conf檔案啟動
Kibana環境安裝
https://blog.csdn.net/qq_38270106/article/details/84311168
啟動kibana
cd /usr/local/kibana-6.4.3-linux-x86_64/bin
./kibana
訪問:http://192.168.128.156:5601
日誌已經持久化到了ES伺服器了