1. 程式人生 > >elasticsearch整合logstash日誌收集

elasticsearch整合logstash日誌收集

Elasticsearch+Logstash+Kiabana環境安裝  虛擬機器建議記憶體設定為2G

Elasticsearch環境安裝

https://blog.csdn.net/qq_38270106/article/details/84309702

Logstash環境安裝

1、下載logstash安裝包

https://pan.baidu.com/s/1-q0eJW1MZZqlqiUERdrzcQ

2、上傳、解壓

cd /usr/local

tar –zxvf  logstash-6.4.3.tar.gz

3、在config目錄下新建logstash.conf

讀入並且讀出日誌資訊

cd /usr/local/logstash-6.4.3/config

vi logstash.conf

標準列印,在檔案中加入如下內容

input {
    # 從檔案讀取日誌資訊 輸送到控制檯
    file {
        # 日誌檔案的路徑 這裡以es的log路徑為例
        path => "/usr/local/elasticsearch-6.4.3/logs/myes.log"
        codec => "json" ## 以JSON格式讀取日誌
        type => "elasticsearch"
        start_position => "beginning"
    }
}

# filter {
#
# }

output {
    # 標準輸出 
    # stdout {}
    # 輸出進行格式化,採用Ruby庫來解析日誌   
     stdout { codec => rubydebug }
}

啟動logstash

cd /usr/local/logstash-6.4.3/bin 

./logstash -f ../config/logstash.conf

 啟動ES

cd /usr/local/elasticsearch-6.4.3/bin

su liuwqboy

./elasticsearch

日誌已經被logstash收集起來了 

 logstash收集日誌,並持久化到ES伺服器

在config目錄下新建logstash2.conf 讀入並且讀出日誌資訊 

cd /usr/local/logstash-6.4.3/config

vi logstash2.conf

input {
    # 從檔案讀取日誌資訊 輸送到控制檯
    file {
        path => "/usr/local/elasticsearch-6.4.3/logs/my-application.log"
        codec => "json" ## 以JSON格式讀取日誌
        type => "elasticsearch"
        start_position => "beginning"
    }
}

# filter {
#
# }

output {
    # 標準輸出 
    # stdout {}
    # 輸出進行格式化,採用Ruby庫來解析日誌   
     stdout { codec => rubydebug }
    # 把收集的日誌持久化到ES伺服器
	 elasticsearch {
        hosts => ["192.168.33.129:9200"]
        index => "es-%{+YYYY.MM.dd}"
    }	 
}

分別啟動logstash和ES 

注意:logstash要指定logstash2.conf檔案啟動

 

Kibana環境安裝

https://blog.csdn.net/qq_38270106/article/details/84311168

啟動kibana

 cd /usr/local/kibana-6.4.3-linux-x86_64/bin

./kibana

訪問:http://192.168.128.156:5601 

日誌已經持久化到了ES伺服器了