1. 程式人生 > >業務系統日誌採集:logstash+kafka

業務系統日誌採集:logstash+kafka

     業務系統,可以是一個APP,也可以是一個應用網站。通常業務系統所使用的伺服器有很多臺,業務系統伺服器即有可能是Linux伺服器,也可能是windows伺服器,比如一些遊戲開發所選用的伺服器是window伺服器。

      通常業務系統產生的日誌會非常多,日誌檔案會分佈在不同的資料夾下。logstash的配置檔案中,可以使用萬用字元的方式,來讀取同一層級下多個資料夾裡面的檔案內容。而且,logstash能夠監控單個檔案中內容的變化,並將變化的內容讀取出來,配置如下(serverKafka.txt):

input{
	file{
		codec=>plain{
			charset=>"GB2312"
		}
		path=>"F:/studyRepository/logs/ngixGame/BaseDir01/*/*.txt"
		discover_interval=>5
		start_position=>"beginning"
	}
}
output{
	kafka{
		topic_id=>"gsTopic03"
		codec=>plain{
			format=>"%{message}"
			charset=>"UTF-16BE"
		}
		bootstrap_servers=>"mini02:9092,mini03:9092,mini04:9092"
	}
}