Logstash基本介紹和使用場景

自我認為：logstash就是日誌的采集收集，日誌的搬運工，實時去采集日誌。讀取不同的數據源，並進行過濾，開發者自定義規範輸出到目的地。日誌的來源很多，如系統日誌，應用日誌等等（同類軟件：filebeat）

官方文檔：https://www.elastic.co/guide/en/logstash/current/index.htm

工作傳輸流程

在centos7上安裝logstash

下載  logstash-6.2.4.tar.gz
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.tar.gz
 


tar -xvf logstash-6.2.4.tar.gz
cd logstash-6.2.4/




修改配置文件：（基本配置）
    logstash.yml  修改 pipeline.workers，根據CPU核數增加1到2即可
    jvm.options      修改 xms和xmx為相同，一般是系統內存三份之二

input filter output數據流程測試

logstash配置文件vim logstash.conf

input {  
  file {                                               # 從文件讀取日誌信息
     path 
 
=> "/var/log/messages"         #文件所在的路徑
     type => "system"                          #類型是system類型
　　  codec => "json"                         #日誌格式時json格式時打開
     start_position => "beginning"         #從哪裏開始讀，beginning
      }  
}  
  
filter {  
　　　　mutate{   　　　　　　　　　　　　　　　　#切割插件
　　　　　　split => ["message","|"]          #通過|切割為message的數組
　　　　}

}  
  
output { 
     elasticsearch {
　　　　 #stdout { codec => rubydebug }        #格式化控制臺輸出
        hosts 
 
=> ["localhost:9200"]          #輸出到es中
        index => "logstash-test-%{type}-%{host}"        #輸出到哪個索引中去
    }
}  

input插件：https://www.elastic.co/guide/en/logstash/current/input-plugins.html

filter插件：https://www.elastic.co/guide/en/logstash/current/filter-plugins.html

output插件：https://www.elastic.co/guide/en/logstash/current/output-plugins.html

目錄文件說明：https://www.elastic.co/guide/en/logstash/6.2/dir-layout.html

配置詳解：https://www.elastic.co/guide/en/logstash/6.2/logstash-settings-file.html

elastic search&logstash&kibana 學習歷程（三）Logstash使用場景和安裝部署