業務系統日誌採集:logstash+kafka
阿新 • • 發佈:2018-12-17
業務系統,可以是一個APP,也可以是一個應用網站。通常業務系統所使用的伺服器有很多臺,業務系統伺服器即有可能是Linux伺服器,也可能是windows伺服器,比如一些遊戲開發所選用的伺服器是window伺服器。
通常業務系統產生的日誌會非常多,日誌檔案會分佈在不同的資料夾下。logstash的配置檔案中,可以使用萬用字元的方式,來讀取同一層級下多個資料夾裡面的檔案內容。而且,logstash能夠監控單個檔案中內容的變化,並將變化的內容讀取出來,配置如下(serverKafka.txt):
input{ file{ codec=>plain{ charset=>"GB2312" } path=>"F:/studyRepository/logs/ngixGame/BaseDir01/*/*.txt" discover_interval=>5 start_position=>"beginning" } } output{ kafka{ topic_id=>"gsTopic03" codec=>plain{ format=>"%{message}" charset=>"UTF-16BE" } bootstrap_servers=>"mini02:9092,mini03:9092,mini04:9092" } }