一、前言

近期需要對Nginx產生的日誌進行採集，問了下度娘，業內最著名的解決方案非ELK(Elasticsearch, Logstash, Kibana)莫屬。

Logstash負責採集日誌，Elasticsearch負責儲存、索引日誌，Kibana則負責通過Web形式展現日誌。

今天，我要說的是Logstash，它可以從多種渠道採集資料，包括控制檯標準輸入、日誌檔案、佇列等等，只要你能想到，都可以通過外掛的方式實現。

其中，日誌源提供的日誌格式可能並不是我們想要插入儲存介質裡的格式，所以，Logstash裡提供了一系列的filter來讓我們轉換日誌。

Grok就是這些filters裡最重要的一個外掛，下面我就說說它。

二、Grok提供的常用Patterns說明及舉例

大多數Linux使用人員都有過用正則表示式來查詢機器中相關檔案或檔案裡內容的經歷，在Grok裡，我們也是使用正則表示式來識別日誌裡的相關資料塊。

有兩種方式來使用正則表示式：
1. 直接寫正則來匹配
2. 用Grok表示式對映正則來匹配

在我看來，每次重新寫正則是一件很痛苦的事情，為什麼不用表示式來一勞永逸呢？

特別提示：Grok表示式很像C語言裡的巨集定義

要學習Grok的預設表示式，我們就要找到它的具體配置路徑，路徑如下：

# Windows下路徑
[你的logstash安裝路徑]\vendor\bundle
 
\jruby\x.x\gems\logstash-patterns-core-x.x.x\patterns\grok-patterns

現在對常用的表示式進行說明:

常用表示式

• USERNAME 或 USER
  使用者名稱，由數字、大小寫及特殊字元(._-)組成的字串

  比如：1234、Bob、Alex.Wong等

• EMAILLOCALPART
  電子郵件使用者名稱部分，首位由大小寫字母組成，其他位由數字、大小寫及特殊字元(_.+-=:)組成的字串。注意，國內的QQ純數字郵箱賬號是無法匹配的，需要修改正則

  比如：stone、Gary_Lu、abc-123等

• EMAILADDRESS
  電子郵件

  比如：[email protected]、[email protected]、[email protected]等

• HTTPDUSER
  Apache伺服器的使用者，可以是EMAILADDRESS或USERNAME

• INT
  整數，包括0和正負整數

  比如：0、-123、43987等

• BASE10NUM 或 NUMBER
  十進位制數字，包括整數和小數

  比如：0、18、5.23等

• BASE16NUM
  十六進位制數字，整數

  比如：0x0045fa2d、-0x3F8709等

• BASE16FLOAT
  十六進位制數字，整數和小數

• WORD
  字串，包括數字和大小寫字母

  比如：String、3529345、ILoveYou等

• NOTSPACE
  不帶任何空格的字串

• SPACE
  空格字串

• QUOTEDSTRING 或 QS
  帶引號的字串

  比如："This is an apple"、'What is your name?'等

• UUID
  標準UUID

  比如：550E8400-E29B-11D4-A716-446655440000

• MAC
  MAC地址，可以是Cisco裝置裡的MAC地址，也可以是通用或者Windows系統的MAC地址

• IP
  IP地址，IPv4或IPv6地址

  比如：127.0.0.1、FE80:0000:0000:0000:AAAA:0000:00C2:0002等

• HOSTNAME
  主機名稱

• IPORHOST
  IP或者主機名稱

• HOSTPORT
  主機名(IP)+埠

  比如：127.0.0.1:3306、api.stozen.net:8000等

• PATH
  路徑，Unix系統或者Windows系統裡的路徑格式

  比如：/usr/local/nginx/sbin/nginx、c:\windows\system32\clr.exe等

• URIPROTO
  URI協議

  比如：http、ftp等

• URIHOST
  URI主機

  比如：www.stozen.net、10.0.0.1:22等

• URIPATH
  URI路徑

  比如：//www.stozen.net/abc/、/api.php等

• URIPARAM
  URI裡的GET引數

  比如：?a=1&b=2&c=3

• URIPATHPARAM
  URI路徑+GET引數

  比如：//www.stozen.net/abc/api.php?a=1&b=2&c=3

• URI
  完整的URI

  比如：http://www.stozen.net/abc/api.php?a=1&b=2&c=3

日期時間表達式

• MONTH
  月份名稱

  比如：Jan、January等

• MONTHNUM
  月份數字

  比如：03、9、12等

• MONTHDAY
  日期數字

  比如：03、9、31等

• DAY
  星期幾名稱

  比如：Mon、Monday等

• YEAR
  年份數字

• HOUR
  小時數字

• MINUTE
  分鐘數字

• SECOND
  秒數字

• TIME
  時間

  比如：00:01:23

• DATE_US
  美國日期格式

  比如：10-15-1982、10/15/1982等

• DATE_EU
  歐洲日期格式

  比如：15-10-1982、15/10/1982、15.10.1982等

• ISO8601_TIMEZONE
  ISO8601時間格式

  比如：+10:23、-1023等

• TIMESTAMP_ISO8601
  ISO8601時間戳格式

  比如：2016-07-03T00:34:06+08:00

• DATE
  日期，美國日期%{DATE_US}或者歐洲日期%{DATE_EU}

• DATESTAMP
  完整日期+時間

  比如：07-03-2016 00:34:06

• HTTPDATE
  http預設日期格式

  比如：03/Jul/2016:00:36:53 +0800

Log表示式

• LOGLEVEL
  日誌等級
  

比如：Alert、alert、ALERT、Error等

三、建立自己的Grok表示式

在業務領域中，可能會有越來越多的日誌格式出現在我們眼前，而Grok的預設表示式顯然已無法滿足我們的需求（比如使用者身份證號、手機號等資訊），所以，我們需要自己動手新增些表示式。

還有很多，需要您在業務中靈活運用！