利用 ELK系統分析Nginx日誌並對資料進行視覺化展示
一、寫在前面
結合之前寫的一篇文章：Centos7 之安裝Logstash ELK stack 日誌管理系統，上篇文章主要講了監控軟體的作用以及部署方法。而這篇文章介紹的是單獨監控nginx 日誌分析再進行視覺化圖形展示，並在使用者前端使用nginx 來代理kibana的請求響應，訪問許可權方面暫時使用HTTP 基本認證加密使用者登入。（關於elk許可權控制，我所瞭解的還有一種方式－Shield），等以後有時間了去搞下。下面開始正文吧。。。
注意：環境預設和上一篇大致一樣，預設安裝好了E、L、K、3個軟體即可。當然了，還有必需的java環境JDK
開始之前，請允許我插入一張圖，來自線上我的測試圖：（如果有需要的童鞋，可以私信我，我可以把登入帳號給你。。）
備註：由於阿里雲主機已經刪除，無法提供試看了哈。
nginx日誌檔案其中一行：
218.75.177.193 - - [03/Sep/2016:03:34:06 +0800] "POST /newRelease/everyoneLearnAjax HTTP/1.1" 200 370 "http://www.xxxxx.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" "36.22.6.130"
nginx 伺服器日誌的log_format格式：
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
二、配置logstash
1.修改配置檔案，/etc/logstash/conf.d下。建立一個新的配置檔案，內容如下:
[[email protected] ~]# cat /etc/logstash/conf.d/nginx_access.conf input { file { path => [ "/data/nginx-logs/access.log" ] start_position => "beginning" ignore_older => 0 } } filter { grok { match => { "message" => "%{NGINXACCESS}" } } geoip { source => "http_x_forwarded_for" target => "geoip" database => "/etc/logstash/GeoLiteCity.dat" add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ] add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ] } mutate { convert => [ "[geoip][coordinates]", "float" ] convert => [ "response","integer" ] convert => [ "bytes","integer" ] replace => { "type" => "nginx_access" } remove_field => "message" } date { match => [ "timestamp","dd/MMM/yyyy:HH:mm:ss Z"] } mutate { remove_field => "timestamp" } } output { elasticsearch { hosts => ["127.0.0.1:9200"] index => "logstash-nginx-access-%{+YYYY.MM.dd}" } stdout {codec => rubydebug} }
檔案內容大致解釋：
Logstash 分為 Input、Output、Filter、Codec 等多種plugins。
Input：資料的輸入源也支援多種外掛，如elk官網的beats、file、graphite、http、kafka、redis、exec等等等、、、
Output：資料的輸出目的也支援多種外掛，如本文的elasticsearch，當然這可能也是最常用的一種輸出。以及exec、stdout終端、graphite、http、zabbix、nagios、redmine等等、、、
Filter：使用過濾器根據日誌事件的特徵，對資料事件進行處理過濾後，在輸出。支援grok、date、geoip、mutate、ruby、json、kv、csv、checksum、dns、drop、xml等等、、
Codec：編碼外掛，改變事件資料的表示方式，它可以作為對輸入或輸出執行該過濾。和其它產品結合，如rubydebug、graphite、fluent、nmap等等。
具體以上外掛的細節可以去官網，介紹的挺詳細的。下面說下該篇中的配置檔案的含義：
input段：
file：使用file 作為輸入源
path： 日誌的路徑，支援/var/log*.log，及[ "/var/log/messages", "/var/log/*.log" ] 格式
start_position: 從檔案的開始讀取事件。另外還有end引數
ignore_older: 忽略早於24小時（預設值86400）的日誌，設為0，即關閉該功能，以防止檔案中的事件由於是早期的被logstash所忽略。
filter段：
grok：資料結構化轉換工具
match：匹配條件格式，將nginx日誌作為message變數，並應用grok條件NGINXACCESS進行轉換
geoip：該過濾器從geoip中匹配ip欄位，顯示該ip的地理位置
source：ip來源欄位，這裡我們選擇的是日誌檔案中的最後一個欄位，如果你的是預設的nginx日誌，選擇第一個欄位即可(注：這裡寫的欄位是/opt/logstash/patterns/nginx 裡面定義轉換後的)
target：指定插入的logstash字斷目標儲存為geoip
database：geoip資料庫的存放路徑
add_field: 增加的欄位，座標經度
add_field: 增加的欄位，座標緯度
mutate： 資料的修改、刪除、型別轉換
convert： 將座標轉為float型別
convert： http的響應程式碼欄位轉換成 int
convert： http的傳輸位元組轉換成int
replace： 替換一個欄位
remove_field： 移除message 的內容，因為資料已經過濾了一份，這裡不必在用到該欄位了。不然會相當於存兩份
date: 時間處理，該外掛很實用，主要是用你日誌檔案中事件的事件來對timestamp進行轉換，匯入老的資料必備！在這裡曾讓我困惑了很久哦。別再掉坑了
match：匹配到timestamp欄位後，修改格式為dd/MMM/yyyy:HH:mm:ss Z
mutate：資料修改
remove_field： 移除timestamp欄位。
output段：
elasticsearch：輸出到es中
host： es的主機ip＋埠或者es 的FQDN＋埠
index： 為日誌建立索引logstash-nginx-access-＊，這裡也就是kibana那裡新增索引時的名稱
2.建立logstash配置檔案之後，我們還要去建立grok使用的表示式，因為logstash 的配置檔案裡定義的使用轉換格式語法，先去logstash的安裝目錄，預設安裝位置：/opt/logstash/下，在該位置建立一個目錄patterns:
[email protected] ~]# mkdir -pv /opt/logstash/patterns mkdir: created directory ‘/opt/logstash/patterns’
在該目錄下建立格式檔案，內容如下：
[[email protected] ~]# cat /opt/logstash/patterns/nginx NGUSERNAME [a-zA-Z\.\@\-\+_%]+ NGUSER %{NGUSERNAME} NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} \"%{IPV4:http_x_forwarded_for}\"
注:該格式的最後有一個http_x_forwarded_for，因為我們日誌是啟用了cdn代理的。日誌的第一段都是cdn的，最後一段才是真正客戶的ip。
需要分析的nginx日誌路徑不在預設的位置，所以我根據logstash 的配置，建個目錄先，並將日誌檔案拷貝進去：
[[email protected] ~]# mkdir -pv /data/nginx-logs/ [[email protected] ~]# ll /data/nginx-logs/ total 123476 -rw-r--r-- 1 nginx adm 126430102 Sep 9 16:02 access.log
3.然後就是logstash中配置的GeoIP的資料庫解析ip了，這裡是用了開源的ip資料來源，用來分析客戶端的ip歸屬地。官網在這裡:MAXMIND
先把庫下載到本地：
[[email protected] ~]# wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
解壓到當前路徑，並將它移動到上述我們配置的路徑下，當然其它路徑也是可以的，不過logstash 的配置檔案也需要更改，如下：
[[email protected] ~]# gzip -d GeoLiteCity.dat.gz [[email protected] ~]# mv GeoLiteCity.dat /etc/logstash/.
測試下logstash 的配置檔案吧，使用它自帶的命令去測試，如下：
[[email protected] ~]# /opt/logstash/bin/logstash -t -f /etc/logstash/conf.d/nginx_access.conf Configuration OK
注：-t -f 引數順序不能亂，格式就是定死的，-f 後面要跟配置檔案；還有就是該測試只能測試語法，標點符號。如果邏輯上有錯誤的話，還是能啟動的。這裡就需要在正式啟動執行時，多關注日誌檔案，位置：/var/log/logstash/logstash.log
三、配置Elasticsearch
1.先修改es的配置檔案如下（存放路徑：/etc/elasticsearch/elasticsearch.yml）:
[[email protected] ~]# egrep -v '^#|^$' /etc/elasticsearch/elasticsearch.yml node.name: es-1 path.data: /data/elasticsearch/ network.host: 127.0.0.1 http.port: 9200
其它內容都保持預設。主要修改了es的資料存放路徑，它預設的路徑在根目錄下，由於容量太小，而/data容量大。 根據你的實際情況考慮而定。
建立資料存放目錄：
[[email protected] ~]# mkdir -pv /data/elasticsearch
修改該檔案的許可權所屬者：
[[email protected] ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/
之後重啟es，重啟logstash。
[[email protected] ~]# systemctl restart elasticsearch [[email protected] ~]# systemctl restart logstash
檢查啟動狀態：
[[email protected] ~]# netstat -ulntp | grep java tcp6 0 0 127.0.0.1:9200 :::* LISTEN 25988/java tcp6 0 0 127.0.0.1:9300 :::* LISTEN 25988/java
[[email protected] ~]# systemctl status logstash ● logstash.service - LSB: Starts Logstash as a daemon. Loaded: loaded (/etc/rc.d/init.d/logstash) Active: active (running) since Fri 2016-09-09 16:14:17 CST; 38s ago Docs: man:systemd-sysv-generator(8) Process: 27195 ExecStart=/etc/rc.d/init.d/logstash start (code=exited, status=0/SUCCESS) CGroup: /system.slice/logstash.service └─27201 /bin/java -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX... Sep 09 16:14:17 log-monitor systemd[1]: Starting LSB: Starts Logstash as a daemon.... Sep 09 16:14:17 log-monitor logstash[27195]: logstash started. Sep 09 16:14:17 log-monitor systemd[1]: Started LSB: Starts Logstash as a daemon..
logstash 的日誌檢視：
[[email protected] ~]# tail -f /var/log/logstash/logstash.log {:timestamp=>"2016-09-09T16:14:26.732000+0800", :message=>"Pipeline main started"}
從上面可以看到啟動是正常的，我們在去看下es裡的索引，應該已經在倒入資料了。
[[email protected] ~]# curl 'localhost:9200/_cat/indices?v' health status index pri rep docs.count docs.deleted store.size pri.store.size yellow open .kibana 1 1 1 0 3.1kb 3.1kb yellow open logstash-nginx-access-2016.09.08 5 1 69893 0 24.2mb 24.2mb yellow open logstash-nginx-access-2016.09.09 5 1 339 0 273.8kb 273.8kb
從上面看到資料已經在慢慢的匯入了。大概需要一段時間，因為涉及到日誌的過濾寫入等。不過也很快啦。我們暫時不去配置kibana。先去安裝nginx做個代理。
四、安裝nginx 配置kibana代理
1.下載穩定版的nginx，這裡使用yum安裝。或者也可以選擇編譯，個人覺得rpm包已經足夠可以使用。
[[email protected] ~]# wget https://nginx.org/packages/rhel/7/x86_64/RPMS/nginx-1.10.0-1.el7.ngx.x86_64.rpm
2.安裝，並修改預設的配置檔案
[[email protected] ~]# yum localinstall nginx-1.10.0-1.el7.ngx.x86_64.rpm –y
先將預設的default.conf 移動到其它目錄中，或者直接刪除也可以。我是直接刪除了。然後新建一個elk.conf配置檔案，內容如下：
[[email protected] ~]# cat /etc/nginx/conf.d/elk.conf upstream elk { ip_hash; server 172.17.0.1:5601 max_fails=3 fail_timeout=30s; server 172.17.0.1:5601 max_fails=3 fail_timeout=30s; } server { listen 80; server_name localhost; server_tokens off; #close slow conn client_body_timeout 5s; client_header_timeout 5s; location / { proxy_pass http://elk/; index index.html index.htm; #auth auth_basic "ELK Private,Don't try GJ!"; auth_basic_user_file /etc/nginx/.htpasswd; } }
檔案內容大致解釋：
此處省略500字
3.新建一個http基本認證使用者，使用的是httpd的一個工具元件，叫httpd-tools，用於生成加密的使用者資料庫
[[email protected] ~]# yum install httpd-tools –y
新建使用者：
[[email protected] ~]# htpasswd -cm /etc/nginx/.htpasswd elk New password: Re-type new password: Adding password for user elk
重啟nginx，並檢查狀態
[[email protected] ~]# systemctl start nginx [[email protected] ~]# systemctl status nginx ● nginx.service - nginx - high performance web server Loaded: loaded (/usr/lib/systemd/system/nginx.service; disabled; vendor preset: disabled) Active: active (running) since Fri 2016-09-09 12:02:41 CST; 47s ago Docs: http://nginx.org/en/docs/ Process: 26422 ExecStart=/usr/sbin/nginx -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS) Process: 26420 ExecStartPre=/usr/sbin/nginx -t -c /etc/nginx/nginx.conf (code=exited, status=0/SUCCESS) Main PID: 26424 (nginx) CGroup: /system.slice/nginx.service ├─26424 nginx: master process /usr/sbin/nginx -c /etc/nginx/nginx.conf └─26425 nginx: worker process Sep 09 12:02:41 log-monitor systemd[1]: Starting nginx - high performance web server... Sep 09 12:02:41 log-monitor nginx[26420]: nginx: the configuration file /etc/nginx/nginx.conf syntax is ok Sep 09 12:02:41 log-monitor nginx[26420]: nginx: configuration file /etc/nginx/nginx.conf test is successful Sep 09 12:02:41 log-monitor systemd[1]: Started nginx - high performance web server. Sep 09 12:03:13 log-monitor systemd[1]: Started nginx - high performance web server. Sep 09 12:03:26 log-monitor systemd[1]: Started nginx - high performance web server.
檢查監聽埠：
[[email protected] ~]# netstat -ultpn | grep :8888 tcp 0 0 0.0.0.0:8888 0.0.0.0:* LISTEN 26424/nginx: master
修改iptables防火牆，插入以下規則，允許外面訪問8888埠。由於我們最終是使用8888埠對外提供服務的，所以kibana的5601，以及es的9200、9300埠都不需要對外
[[email protected] ~]# iptables -I INPUT -p tcp -m state --state NEW --dport 8888 -j ACCEPT
4.訪問一下網站，驗證下：
輸入我們建立的elk使用者，登陸後，可以正常的訪問kibana介面即可，如下圖：
新增一個索引，這個索引名字就是我們之前在logstash配置檔案中匯入es中的那個，本文中是logstash-nginx-access-*,如下圖：
檢視索引，目前自由一個，設定為加星，即是discover預設突出顯示的。
然後我們點選Discover，即可看到我們倒入的資料了。如下圖：
最後這是我的dashboard，主要統計了web站點的客戶端ip地址歸屬地、總的http傳輸次數、top10 來源ip、top10 請求點選頁面、錯誤請求趨勢、等等，如下，上幾張圖：
五、小結
ELK優勢：
- 針對網路攻擊事件時，方便運維人員查詢溯源。
- 日誌集中收集儲存，方便後續分析
- 優化業務、系統時，做到有據可依
------> 來自虎神's總結
搭建的過程中真的蠻辛苦的（畢竟都是英文），出了問題只能google，從不瞭解到熟悉，也算是種經歷啦。不發牢騷了。。
畫圖容易，就如虎大牛所說：“先學會了如何查，畫圖自然而然就簡單多了。當然還要知道其中每個欄位的含義”。我的下篇文章將會主要說下如何畫圖（包括上面這些圖中樣式哈）。有沒有點小福利的感覺？
好啦，睡覺去啦，大家週末玩的happy呀！另外提前祝天下所有美麗可愛善良的教師們，節日快樂。Y(^_^)Y
該文章屬於原創，圖片均來自真實環境，如您感覺文章還不錯，可以轉載，但前提一定要註明出處以及來源網址，如下樣式：謝謝您的理解