在實際使用中會使用logstath來採集日誌檔案，基礎的採集是按單行來進行的每一行都是一個event，而在實際工作中經常會出現一個日誌event分佈在多行中，比如java的錯誤堆疊，必須將多行日誌聯合起來進行分析。

下面先介紹下我在工作中遇到的情形：

2017-08-02 10:42:21,176 INFO smg.message.cdnws||||cd /data/Video && rsync -avrtuz -R ./2017/08/02/5901193475b440cf2ed0a2ec26116cdb.mp4.m3u8 [email protected].upload.wscdns.
 
com::chinacache_video --password-file=/etc/rsync_ws.passwd||||{"command":"[/usr/local/microservice/rsyncCommand.sh, cd /data/Video, rsync -avrtuz -R ./2017/08/02/5901193475b440cf2ed0a2ec26116cdb.mp4.m3u8 [email protected]::chinacache_video --password-file=/etc/rsync_ws.passwd]", "errorMessage":"null", "infoMessage"
 
:"
sending incremental file list
2017/08/02/5901193475b440cf2ed0a2ec26116cdb.mp4.m3u8

sent 279 bytes  received 30 bytes  88.29 bytes/sec
total size is 108  speedup is 0.35
", "exitValue":"0", "startTime":"1501641738840", "endTime":"1501641741176"}

這個多行日誌是需要採集的目標。結構應該是 時間 + 日誌級別 + 具體內容。

下面先介紹用到的外掛：

input file 及codec multiline 外掛
使用這兩個外掛可以坐到從日誌檔案中讀取多行日誌進行匹配，比如java的報錯堆疊會解析成一個結構。

首先先使用input file外掛將日誌讀進來。

./bin/logstash  -e '
input{
    file{
        path=>"/home/testfiles/command_service_amq.log"   //日誌檔案地址
        start_position=>"beginning"               //在第一次讀檔案時是否從第一行進行讀取  預設為end
    }
}  

output{stdout{}}'

這樣讀進來的日誌會按照單行進行採集，效果非常不好，所以開始使用multiline外掛。

通過分析發現多行的匹配規則為只要不是以時間為開頭的日誌都歸為上一行。so！！！這麼寫：

./bin/logstash  -e '
input{
    file{
        path=>"/home/testfiles/command_service_amq.log"   //日誌檔案地址
        start_position=>"beginning"               //在第一次讀檔案時是否從第一行進行讀取  預設為end
        codec => multiline { 
            pattern => "^%{TIMESTAMP_ISO8601:timestamp}"   //正則匹配，以iso8601時間為開始  
            negate => true          //如果沒匹配則取消正則，沒理解，反正true跟false都試試
            what => "previous"      //和上一行組成同一event
        }
    }
}  

output{stdout{}}'

pattern中使用grok正則進行匹配。
參考地址在這。

現在會發現多行會變成一個event輸出了，但是其中會出現冗餘資訊，比如logstath會在event中新增時間資訊。

下一節講講如何進行filter過濾，有問題之處煩請在留言中指出，非常感謝。