1. 程式人生 > >分散式日誌收集之Logstash 筆記(二)

分散式日誌收集之Logstash 筆記(二)


今天是2015年11月06日,早上起床,北京天氣竟然下起了大雪,不錯,最近幾年已經很少見到雪了,想起小時候冬天的樣子,回憶的影子還是歷歷在目。 

進入正題吧,上篇介紹了Logstash的基礎知識和入門demo,本篇介紹幾個比較常用的命令和案例 
通過上篇介紹,我們大體知道了整個logstash處理日誌的流程: 
input  => filter => output 

除了上面幾個基礎命令,還有ruby,mutate,gork,codes幾個命令比較常用: 

線上gork正則的地址:http://grokdebug.herokuapp.com/ 

Logstash基礎正則地址:https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
 

如果你是做運維的,那麼很幸運,內建的120多個正則,對運維人員來說非常方面,比如常見的Apache的log格式,Nginx的log格式 
上面的正則庫都有成型的正則式,省去了自己編寫正則一大部分的工作。 

如果你是做開發的,那麼稍微麻煩點,開發需要面對各種業務log+系統log,這時候,掌握gork用法,使用正則提取任意內容,變得比較重要了,不過相信大部分人都會一些基礎的正則,所以還是比較輕鬆的。 

下面看幾個案例: 

案例(一)使用gork提取Solr搜尋的log裡面的一些欄位內容: 

例子資料(注意這是一行資料):