最近在做flume日誌收集系統相關專案，收集flume相關的知識，以便查閱、分享。

轉載出處：http://www.cnblogs.com/tq03/p/5151954.html

一、flume的基本架構圖：

下面這個圖基本說明了flume的作用，以及flume中的基本元件：source、channel、sink。

Source:完成對日誌資料的收集，分成transtion 和 event 打入到channel之中。  
Channel:主要提供一個佇列的功能，對source提供中的資料進行簡單的快取。  
Sink:取出Channel中的資料，進行相應的儲存檔案系統，資料庫，或者提交到遠端伺服器。

二、source列表：

簡要說明：

1、Avro Source：支援Avro協議（實際上是Avro RPC），內建支援

2、Thrift Source：支援Thrift協議，內建支援

3、Exec Source | 基於Unix的command在標準輸出上生產資料

4、JMS Source：從JMS系統（訊息、主題）中讀取資料，ActiveMQ已經測試過

5、Spooling Directory Source：監控指定目錄內資料變更

6、Twitter 1% firehose Source：通過API持續下載Twitter資料，試驗性質

7、Netcat Source：監控某個埠，將流經埠的每一個文字行資料作為Event輸入

8、Sequence Generator Source：序列生成器資料來源，生產序列資料

9、Syslog Sources：讀取syslog資料，產生Event，支援UDP和TCP兩種協議

10、HTTP Source：基於HTTP POST或GET方式的資料來源，支援JSON、BLOB表示形式

11、Legacy Sources：相容老的Flume OG中Source（0.9.x版本）

三、channel列表：

四、sink列表：

五、processor列表：

六、interceptor列表：

七、其他元件列表：