由於nginx功能強大，效能突出，越來越多的web應用採用nginx作為http和反向代理的web伺服器。而nginx的訪問日誌不管是做使用者行為分析還是安全分析都是非常重要的資料來源之一。如何有效便捷的採集nginx的日誌進行有效的分析成為大家關注的問題。本文通過幾個例項來介紹如何通過filebeat、logstash、rsyslog採集nginx的訪問日誌和錯誤日誌。 大家都知道ELK技術棧是採集、分析日誌的利器。所以這裡介紹的是從nginx採集日誌到ES。當然至於日誌採集以後存到看大家的需要。通過logstash可以方便的配置日誌輸出儲存的方式。 一般來說nginx預設安裝後，日誌檔案在 /usr/local/nginx/logs 目錄下。分別有 access.log和error.log 訪問日誌和錯誤日誌。 這次示例Elasitcsearch是三個節點組成的叢集172.28.65.22、172.28.65.23、172.28.65.24，172.28.65.30 是kibana的地址，172.28.65.32是資料採集伺服器，上面裝有logstash、nginx、 filebeat。一般來說採集伺服器上有logstash，而nginx、 filebeat應該是裝在採集目標上。 ## 一、直接通過filebeat採集日誌到ES  在filebeat的安裝目錄找到filebeat.yml 配置獲取日誌檔案的路徑及輸出到ES的配置。 具體： ```powershell - type: log # Change to true to enable this input configuration. enabled: true # Paths that should be crawled and fetched. Glob based paths. paths: #- /var/log/*.log - /usr/local/nginx/logs/*.log #- c:\programdata\elasticsearch\logs\* ```  如果需要在kibana中友好顯示的化，可進行kibana配置  輸出到es中，在hosts中配置好你的ES服務地址。如果單機只有一個節點，就可以只配一個ip和埠。  啟動filebeat 進行日誌資料採集 ```powershell ./filebeat -e -c filebeat.yml -d "publish" ``` 通過elasticsearch-head外掛檢視es索引中的日誌資訊  可以看到nginx中的access.log和error.log的日誌都已經上來了。 在kibana中通過filebeat-*過濾看filebeat的索引，可以看到通過filebeat採過來的資料。  這種直接通過filebeat直接對接ES採日誌的方式簡單直接，但是無法對採集的日誌進行預處理和其他一些操作，也不夠靈活。 可以在filebeat 和 ES之間加一層Logstash，可以將filebeat於ES解耦，通過Logstash可以做一些預處理，也可以通過Logstash採集到除ES以外的其他資料儲存上。 ## 二、通過filebeat採集日誌到logstash再送到ES  首先得安裝 logstash ，安裝完後在logstash的安裝目錄下新建vi filebeat-pipeline.conf filebeat-pipeline.conf的具體配置如下： ```powershell input { beats { port => "5044" } } output { elasticsearch { hosts => ["172.28.65.24:9200"] } stdout { codec => rubydebug} } ``` input配置表示通過5044埠接收beats的資料 output配置表示輸出到elasticsearch，並且同時輸出到標準輸出也就是控制檯。 然後通過命令 ```powershell bin/logstash -f filebeat-pipeline.conf --config.reload.automatic ``` 應用filebeat-pipeline.conf啟動logstash。  啟動以後可以看到logstash的啟動日誌5044埠的服務已經起了，可以接受通過filebeat通過5044埠傳過來的資料了。 接下來配置filebeat 在filebeat的安裝目錄找到filebeat.yml 配置獲取日誌檔案的路徑及輸出到logstash的配置。不直接輸出到ES了。 具體配置如下： 將output.elasticsearch的配置遮蔽 配置output.logstash，配置正確的logstash的服務主機和埠  啟動filebeat 進行日誌資料採集 ```powershell ./filebeat -e -c filebeat.yml -d "publish" ``` 我們訪問nginx服務提供的web服務http://172.28.65.32/ 在logstash的控制檯 可以看到相應的訪問access.log 日誌  同時在ES 中也可以看到有相應的日誌資料  ## 三、直接通過rsyslog採集日誌到logstash在送到ES 在很多情況下你需要採集的web伺服器並不是自己能夠控制的，不是說你想裝filebeat就可以讓你裝的，這時候就可以要求目標資料來源通過 syslog 的方式將日誌發出來。我們可以再通過 logstash送到ES或其他的日誌儲存處理平臺。  通過syslog往日誌伺服器上發nginx的日誌有兩種方式，一種就是利用nginx的配置往外發日誌，一種就是通過配置linux的rsyslog的配置往外發日誌。 **1、通過nginx配置傳送syslog到logstash** 參考見nginx官方文件：[http://nginx.org/en/docs/syslog.html](http://nginx.org/en/docs/syslog.html) 具體配置如下： 在nginx的配置檔案nginx.conf中 在server下配置access_log和error_log的輸出方式 ```powershell access_log syslog:server=172.28.65.32:514,facility=local7,tag=nginx_access_log,severity=info; error_log syslog:server=172.28.65.32:514,facility=local7,tag=nginx_error_log,severity=info; ```  配置完成後執行 `./nginx -s reload` 使配置生效。這樣就通過linux的rsyslog服務將nginx的日誌往外發了。 接著來配置logstash的syslog的服務接收配置 。在logstash的安裝目錄下新建`vi syslog-pipeline.conf` syslog-pipeline.conf的具體配置如下： ```powershell input { syslog{ type => "system-syslog" port => 514 } } output { elasticsearch { hosts => ["172.28.65.24:9200"] index => "system-syslog-%{+YYYY.MM}" } stdout { codec => rubydebug} } ``` input配置表示通過514埠接收syslog的資料 output配置表示輸出到elasticsearch，並且同時輸出到標準輸出也就是控制檯。 通過執行 `bin/logstash -f syslog-pipeline.conf --config.reload.automatic` 啟動logstash  可以看到logstash啟動以後開啟了514埠的tcp和upd協議的偵聽。 我們訪問nginx服務提供的web服務http://172.28.65.32/ 在logstash的控制檯 可以看到相應的nginx訪問access和error的日誌  同樣通過Elasticsearch-head在ES 中也可以看到有相應的日誌資料  **2、通過配置rsyslog傳送syslog日誌到logstash** 有些老版本的nginx不支援配置syslog輸出日誌，或者說我想輸出其他不是nginx的日誌該怎麼辦呢？可以通過直接配置rsyslog的方式來往外發送日誌。 在/etc/rsyslog.conf 中配置 ```powershell $IncludeConfig /etc/rsyslog.d/*.conf ```  意思是可以引用外部的配置檔案，引用外部的配置檔案一方面可以不影響主配置檔案，另一方面也比較好管理 在/etc/rsyslog.d目錄下新建nginx-log.conf 配置如下： ```powershell $ModLoad imfile $InputFilePollInterval 1 $WorkDirectory /var/spool/rsyslog $PrivDropToGroup adm ##Nginx訪問日誌檔案路徑，根據實際情況修改: $InputFileName /usr/local/nginx/logs/access.log $InputFileTag nginx-access: $InputFileStateFile stat-nginx-access $InputFileSeverity info $InputFilePersistStateInterval 25000 $InputRunFileMonitor ##Nginx錯誤日誌檔案路徑，根據實際情況修改: $InputFileName /usr/local/nginx/logs/error.log $InputFileTag nginx-error: $InputFileStateFile stat-nginx-error $InputFileSeverity error $InputFilePersistStateInterval 25000 $InputRunFileMonitor *.* @172.28.65:514 ``` 配置好了以後，重啟rsyslog服務 ```powershell systemctl restart rsyslog ``` 我們訪問nginx服務提供的web服務http://172.28.65.32/ 在logstash的控制檯 可以看到同樣的效果。  本文介紹瞭如何通過filebeat、logstash、rsyslog採集nginx的訪問日誌和錯誤日誌的幾種方式，具體需要根據實際情況靈活的運用。 ------------------- 作者部落格:[http://xiejava.gitee.io](http://xiejava.gi