1. 程式人生 > >【Flume】flume檔案監控的source元件開發,增量傳輸檔案內容,支援斷點續傳功能

【Flume】flume檔案監控的source元件開發,增量傳輸檔案內容,支援斷點續傳功能

基於flume-ng中原有exec的source型別,通過tail依賴於作業系統去監聽檔案內容變化,其次,不支援斷點續傳的功能,特此,自行開發了一個元件,大家可以看看,一起探討:

該元件特點如下:

1、一個source對應一個檔案監控

2、實時監控檔案變化

3、增量傳輸檔案內容

4、支援斷點續傳功能,即使flume程序掛掉,下一次重啟仍然可以繼續接著上次斷開的地方傳輸

5、能自動判斷是否log檔案滾動了(前提,必須做好flume程序的監控,監控到程序不在了,要立即進行重啟)

只需如下配置即可:

a1.sources.r1.type=org.apache.flume.chiwei.filemonitor.FileMonitorSource
a1.sources.r1.channels=c1
a1.sources.r1.file=/home/flume/example/file/bizlogic.log
a1.sources.r1.positionDir=/home/flume

望各位不吝指教!