日誌分析平臺ELK之日誌收集器logstash
前文我們聊解了什麼是elk，elk中的elasticsearch叢集相關元件和叢集搭建以及es叢集常用介面的說明和使用，回顧請檢視考https://www.cnblogs.com/qiuhom-1874/p/13758006.html；今天我們來了解下ELK中的日誌收集器logstash；
logstash的工作原理類似Linux裡的rsyslog，首先logstash會有一個數據輸入源，也就是logstash去哪裡採集資料，它的採集資料來源很多，比如從檔案中採集，從某個tcp/udp埠採集，從redis的訊息佇列中採集，kafka啊、標準輸入等等；它和rsyslog不同的是，rsyslog是把日誌資料從一個地方轉到另一個地方，中間不會去處理日誌的格式，採集回來是什麼樣就是什麼樣；而logstash不一樣，logstash它可以把採集回來的日誌做格式化，以不同的編碼形式向外輸出；比如把nginx的日誌採集回來，它可以以json格式輸出；同時它還可以處理採集回來的日誌，比如忽略某些欄位的輸出，把原有日誌格式做切分；把原來不是json格式的日誌，通過輸出規則轉換為json格式的日誌；總體流程圖如下
提示：以上流程圖主要表示logstash採集資料和處理資料內部的一個流程；從上面的流程不難想象，logstash就是把一個數據採集回來，通過內部定義的處理規則，然後通過output規則輸出到指定地方的一個外掛；
安裝logstash
logstash的執行方式有兩種，第一種以agent的方式執行在資料來源所在伺服器上採集資料，然後輸出到指定地方；第二種是以server方式獨立執行在一個伺服器上，接受filebeat從資料來源傳送過來的資料，然後在輸出到其他地方；logstash的執行以來jdk,所以首先要在執行jdk的伺服器上安裝jdk;logstash的版本最好同ELK中的其他元件版本一樣；
安裝jdk
yum install -y java-1.8.0-openjdk-devel
匯出JAVA_HOME環境變數
下載logstash-6.8.12.rpm包
[root@node03 ~]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.8.12.rpm --2020-10-02 15:01:14-- https://artifacts.elastic.co/downloads/logstash/logstash-6.8.12.rpm Resolving artifacts.elastic.co (artifacts.elastic.co)... 151.101.230.222, 2a04:4e42:36::734 Connecting to artifacts.elastic.co (artifacts.elastic.co)|151.101.230.222|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 177059640 (169M) [application/octet-stream] Saving to: ‘logstash-6.8.12.rpm’ 100%[==========================================================================>] 177,059,640 136MB/s in 1.2s 2020-10-02 15:01:15 (136 MB/s) - ‘logstash-6.8.12.rpm’ saved [177059640/177059640] [root@node03 ~]#
安裝logstash-6.8.12.rpm
[root@node03 ~]# ll total 172912 -rw-r--r-- 1 root root 177059640 Aug 18 19:41 logstash-6.8.12.rpm [root@node03 ~]# yum install ./logstash-6.8.12.rpm Loaded plugins: fastestmirror Examining ./logstash-6.8.12.rpm: 1:logstash-6.8.12-1.noarch Marking ./logstash-6.8.12.rpm to be installed Resolving Dependencies --> Running transaction check ---> Package logstash.noarch 1:6.8.12-1 will be installed --> Finished Dependency Resolution Dependencies Resolved =================================================================================================================================== Package Arch Version Repository Size =================================================================================================================================== Installing: logstash noarch 1:6.8.12-1 /logstash-6.8.12 294 M Transaction Summary =================================================================================================================================== Install 1 Package Total size: 294 M Installed size: 294 M Is this ok [y/d/N]: y Downloading packages: Running transaction check Running transaction test Transaction test succeeded Running transaction Installing : 1:logstash-6.8.12-1.noarch 1/1 Using provided startup.options file: /etc/logstash/startup.options /usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/pleaserun-0.0.31/lib/pleaserun/platform/base.rb:112: warning: constant ::Fixnum is deprecated Successfully created system startup script for Logstash Verifying : 1:logstash-6.8.12-1.noarch 1/1 Installed: logstash.noarch 1:6.8.12-1 Complete! [root@node03 ~]#
提示：logstash安裝生成的檔案超級多，其中主配置檔案是/etc/logstash/lostash.yml，配置日誌收集規則、過濾規則、輸出規則的檔案通常放在/etc/logstash/conf.d/目錄下以.conf結尾的檔案；其實主配置檔案基本不用動，我們直接在/etc/logstash/conf.d/目錄下編輯日誌收集規則配置檔案，然後啟動logstash即可；
示例：編寫配置檔案，定義logstash從標準輸入收集資料，輸出到標準輸出；
[root@node03 ~]# cat /etc/logstash/conf.d/stdin-stdout.conf
input {
stdin {}
}
output {
stdout {}
}
[root@node03 ~]#
提示：logstash資料收集配置檔案格式是input {} output{}，其中input 用來定義資料來源輸入的配置，其中裡面stdin {}表示使用標準輸入外掛採集資料；同樣output用於定義資料輸出的，stdout表示把input裡定義的資料採集採集到的資料輸出到output裡定義的輸出位置；以上配置就表示把標準輸入採集到資料，輸出到標準輸出；
檢查配置檔案語法是否正確
提示：-f用於指定配置檔案，-t表示檢查指定配置檔案的語法是否正確；configuration ok表示指定配置檔案語法正確；
驗證：啟動logstash，在標準輸入中輸入資料，看看是否會把我們輸入的資料輸出到標準輸出呢？
提示：可以看到當我們指定logstash以/etc/logstash/conf.d/stdin-stdout.conf配置檔案啟動，在標準輸入中輸入了hello world，它輸出了一個json格式的資訊，其中message欄位就是我們輸入的內容；它這個預設輸出就是用的rubydebug的格式向外輸出；當然我們可以在輸出裡用codec來指定輸出以那種格式輸出；
示例：指定輸出格式用json格式輸出
驗證：啟動logstash，看看輸出是否是json格式呢？
提示：可以看到當我們在配置檔案中指定輸出編碼是json格式以後，啟動logstash看到logstash輸出格式就是以json格式輸出了；
示例：配置logstash從檔案中採集資料，輸出到標準輸出，輸出格式為rubydebug
提示：以上配置表示從/var/log/test.log中採集資料，開始採集位置上檔案最開始處，型別為test.log，輸出以rubydebug格式輸出到標準輸出；
驗證：以/etc/logstash/conf.d/file-stdout.conf啟動logstash，看看完test.log中追加內容，它是否會輸出到標準輸出呢？
提示：現在啟動logstash，可以看到標準輸出上沒有輸出內容，原因是我們指定的檔案現在沒有資料，所以它沒有什麼資料採集；
向/var/log/test.log中追加資料，看看在標準輸出中是否會有對應的內容以我們在配置檔案中指定的格式輸出呢？
提示：可以看到我們在另外一個終端向/var/log/test.log中追加資料，在標準輸出中可看到logstash把對應檔案中的資料採集到，並輸出到標準輸出；
示例：收集httpd的日誌到es叢集中；
啟動logstash，然後訪問httpd，看看對應的es叢集中是否有日誌生成？
提示：啟動logstash以後，可以看到對應列印的日誌，已經將我們的配置讀取並應用了；
訪問httpd，然後到es上檢視對應的日誌資訊是否有？
提示：可以看到在es叢集中有對應的index生成，並且裡面內容也是我們訪問httpd的日誌；從上面收集的日誌來看，它是把日誌內容當作message欄位一個欄位輸出，通常這不是我們想要的結果，這樣收集的日誌，對我們來說沒有太大的意義；我們需要讓logstash幫我們處理，把日誌內容切分成多個欄位，然後再輸出；
示例：配置logstash切分日誌，然後儲存到es叢集
提示：logstash處理日誌依賴filter外掛，其中grok是filter的核心外掛，它內建了很多正則表示式，對常用的的日誌做精準匹配；以上filter外掛主要做了兩件事，第一把message欄位通過內部的HTTPD_COMBINDLOG做了欄位切分；第二件事，把原有的message欄位刪除，避免同一資料多次收集；
驗證：檢查配置檔案語法，然後啟動logstash
啟動logstash
清空原有訪問日誌，然後訪問httpd
在es上檢視收集的日誌
提示：可以看到在es上收集到的日誌，就把message欄位拆分成不同的欄位的json格式