1. 程式人生 > >剛剛釋出 logstash通過webhdfs放入hdfs增加時間戳和host欄位

剛剛釋出 logstash通過webhdfs放入hdfs增加時間戳和host欄位

1.問題描述

logstash通過webhdfs外掛把資料放入hdfs的時候,發現每行資料的簽名都增加了一個時間戳和host欄位

2018-12-19T08:30:30.234Z %{host} "128.1.1.2" "GET"

#2.資料查詢
在網上找了很多資料,描述的都是webhdfs怎麼使用,至於使用後的資料格式都沒有說

我去github的logstash-plugins下看了一下issues,看到了如下的文章,給出瞭解決辦法

https://github.com/logstash-plugins/logstash-output-webhdfs/issues/25

#3.解決辦法
通過codec對輸出資料進行format

    codec => line {
        format => "%{message}"
    }