1. 程式人生 > >利用flume增量採集關係資料庫的配置

利用flume增量採集關係資料庫的配置

網上關於flume採集關係資料庫如mysql的資料比較多,但是大部分都是複製貼上,一錯皆錯,而且對於配置引數的介紹不太完整,或者未說明引數意義,由於最近在使用flume,所以在這裡對配置引數簡單總結一下。

這裡只介紹sql-source的配置


agent.channels=ch1
agent.channels.ch1.type=memory


agent.sources=sql-source
agent.sources.sql-source.channels=ch1
agent.sources.sql-source.type=org.keedio.flume.source.SQLSource
agent.sources.sql-source.hibernate.connection.url=jdbc:mysql://172.16.1.127:3306/test
agent.sources.sql-source.hibernate.connection.user=root
agent.sources.sql-source.hibernate.connection.password=123456
agent.sources.sql-source.hibernate.connection.autocommit=true  #這個引數很重要,預設false,如果設為false就不會自動查詢
agent.sources.sql-source.run.query.delay=5000  #查詢間隔,單位毫秒
agent.sources.sql-source.custom.query=select * from test_table where id >

[email protected]$ order by id   #這裡的[email protected]$表示增量列上一次查詢的值,記錄在status檔案中
agent.sources.sql-source.start.from=50000  #增量列的初始值
agent.sources.sql-source.status.file.path=/var/lib/flume
agent.sources.sql-source.status.file.name=sql-source.status