一．Flume使用的前提：

 Flume使用 java編寫，其需要執行在 Java1.6或更高版本之上。

二．Flume的定義：

 Flume是一個分散式、可靠、高效可用的海量日誌採集、聚合和傳輸系統，支援在系統中定製各類資料傳送方，用於蒐集資料；同時，flume提供對資料進行加單處理，並寫到各種資料接受方（可定製）的能力。

核心一句話：將資料從資料來源收集過來，再送到目的地。為了保證輸送一定成功，在送到目的地之前，會先緩衝資料，待資料真正到的目的地後，刪除自己緩衝的資料。

三．元件及作用：

1.source：從client端收集資料，傳遞個channel。直接讀取：檔案source的有兩種方式：

ExecuteSource:以執行linux命令的方式，持續的輸出最新的資料，如tail –f 檔名指令，在這種方式下取的檔名必須是指定的。

SpoolSource：檢測配置的目錄下新增的檔案，並將檔案中的資料讀取出來。

2.channel：緩衝資料，連線sources和sinks，有點像佇列。型別有MemoryChannel，JDBC Channel，FileChannel等。

3. sink：從channel收集資料，執行一個獨立執行緒。可以向檔案系統、資料庫、hadoop儲存資料。

在日誌資料較少時，可以將資料儲存在檔案系統中，並且設定一定的時間間隔儲存資料。

  在日誌資料較多時，可以將相應的日誌儲存到hadoop

元件名稱功能介紹

四．Flume的整體構成圖

源將事件寫到一個多或者多個通道中

接收器只從一個通道接收事件。

代理可能會有多個源、通道與接收器

Event是flume資料傳輸的基本單元，flume以事件的形式將資料從源頭傳送到目的地。

一個Event 由Map<String,String>Headers和byte[] body組成，其中Headers儲存了Event 的屬性，body儲存了Event 的內容。

。

Source:負責接收events或通過特殊機制產生events，並將events批量的放到一個或多個channels。

Channel位於sources和sinks之間，用於快取進來的events，當sink成功的將events傳送到下一跳的channel或最終目的，events從channel移除。

Sink：負責將events傳輸到嚇一跳或最終目的，成功完成後將events從channel移除。

五．常見錯誤：

Could not configure sink  sink1 due to:No channel configured for sink: sink1
org.apache.flume.conf.ConfigurationException: No channel configured for sink:sink1

則仔細檢視配置檔案，一個source可以對應多個channel，所以是channels，agent.sources.source1.channels = channel1，

但是一個sink對應一個channel，所以是channel，agent.sinks.sink1.channel =channel1，請注意。

六．常見各元件支援的型別：

Flume Source支援的型別：

Flume Channel支援的型別：

Flume Sink支援的型別

七各種元件的特性：

(1)可靠性

當節點出現故障時，日誌能夠被傳送到其他節點上而不會丟失。Flume提供了三種級別的可靠性保障，從強到弱依次分別為：end-to-end（收到資料agent首先將event寫到磁碟上，當資料傳送成功後，再刪除；如果資料傳送失敗，可以重新發送。），Store on failure（這也是scribe採用的策略，當資料接收方crash時，將資料寫到本地，待恢復後，繼續傳送），Best effort（資料傳送到接收方後，不會進行確認）。

(2)可擴充套件性

Flume採用了三層架構，分別為agent，collector和storage，每一層均可以水平擴充套件。其中，所有agent和collector由master統一管理，這使得系統容易監控和維護，且master允許有多個（使用ZooKeeper進行管理和負載均衡），這就避免了單點故障問題。

(3)可管理性

所有agent和colletor由master統一管理，這使得系統便於維護。多master情況，Flume利用ZooKeeper和gossip，保證動態配置資料的一致性。使用者可以在master上檢視各個資料來源或者資料流執行情況，且可以對各個資料來源配置和動態載入。Flume提供了web和shell scriptcommand兩種形式對資料流進行管理。

(4)功能可擴充套件性

使用者可以根據需要新增自己的agent，collector或者storage。此外，Flume自帶了很多元件，包括各種agent（file， syslog等），collector和storage（file，HDFS等）。