1.Flume簡介

Flume是Cloudera提供的一個高可用、高可靠、分散式的海量日誌採集、聚合和傳輸的系統。Flume支援在日誌系統中定製各類資料傳送方用於收集資料，同時Flume提供對資料的簡單處理，並將資料處理結果寫入各種資料接收方的能力。
Flume作為Cloudera開發的實時日誌收集系統，受到了業界的認可與廣泛應用。2010年11月Cloudera開源了Flume的第一個可用版本0.9.2，這個系列版本被統稱為Flume-OG。隨著Flume功能的擴充套件，Flume-OG程式碼工程臃腫、核心元件設計不合理、核心配置不標準等缺點暴露出來，尤其是在Flume-OG的最後一個發行版本 0.94.0中，日誌傳輸不穩定的現象尤為嚴重。為了解決這些問題，2011年10月Cloudera重構了核心元件、核心配置和程式碼架構，重構後的版本統稱為Flume-NG。改動的另一原因是將 Flume 納入 Apache 旗下，Cloudera Flume改名為Apache Flume。

2.Flume工作原理

Flume的資料流由事件（Event）貫穿始終。事件是Flume的基本資料單位，它攜帶日誌資料（位元組陣列形式）並且攜帶有頭資訊，這些Event由Agent外部的Source生成，當Source捕獲事件後會進行特定的格式化，然後Source會把事件推入（單個或多個）Channel中。可以把Channel看作是一個緩衝區，它將儲存事件直到Sink處理完該事件。Sink負責持久化日誌或者把事件推向另一個Source。以下是Flume的一些核心概念：
（1）Events：一個數據單元，帶有一個可選的訊息頭,可以是日誌記錄、avro 物件等。
（2）Agent：JVM中一個獨立的Flume程序，包含元件Source、Channel、Sink。
（3）Client：運行於一個獨立執行緒，用於生產資料並將其傳送給Agent。
（4）Source：用來消費傳遞到該元件的Event,從Client收集資料，傳遞給Channel。
（5）Channel：中轉Event的一個臨時儲存，儲存Source元件傳遞過來的Event，其實就是連線 Source 和 Sink ，有點像一個訊息佇列。
（6）Sink：從Channel收集資料，執行在一個獨立執行緒。
Flume以Agent為最小的獨立執行單位，一個Agent就是一個JVM。單Agent由Source、Sink和Channel三大元件構成，如下圖所示：

值得注意的是，Flume提供了大量內建的Source、Channel和Sink型別。不同型別的Source、Channel和Sink可以自由組合。組合方式基於使用者設定的配置檔案，非常靈活。比如：Channel可以把事件暫存在記憶體裡，也可以持久化到本地硬碟上；Sink可以把日誌寫入HDFS、HBase、ES甚至是另外一個Source等等。Flume支援使用者建立多級流，也就是說多個Agent可以協同工作,如下圖所示:

更多的瞭解，請檢視官網：http://flume.apache.org/FlumeUserGuide.html

3.系統環境

主機名稱	作業系統	Java版本	Fiume版本
hadoop	centos7	Java1.8+	1.7.0

**系統需求：**Flume需要Java 1.6及以上（推薦1.8），對Agent監控目錄的讀寫許可權。

4.下載及安裝

1.Flume

到Flume官網上http://flume.apache.org/download.html下載軟體安裝包，如圖：

可以在Windows下下載完成，通過xftp上傳至hadoop根目錄下，也可以在圖片上箭頭指向的版本，點選“右鍵”，複製連結地址，在hadoop下通過wget安裝

下載、解壓

$ wget http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz
$ tar -xzf apache-flume-1.7.0-bin.tar.gz
$ mv apache-flume-1.7.0-bin flume

2.jdk1.8的安裝

$ sudo yum -y remove java*

2.安裝jdk

$ sudo yum -y install jdk-8u144-linux-x64.rpm

3.配置java環境變數（區域性）

$ vi .bashrc

新增如下內容

# Java Environment Variables
export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

通過如下命令使其生效

$ source .bashrc

測試：$ echo $JAVA_HOME 會顯示如下：

/usr/java/jdk1.8.0_144

至此Java環境變數配置成功

5.修改Flume配置檔案

進入到flume的conf下，建立一個flume.conf 檔案

$ cd /home/hadoop/flume/conf/
$ vi flume.conf

輸入以下內容

# 指定Agent的元件名稱
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 指定Flume source(要監聽的路徑)
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /home/hadoop/log

# 指定Flume sink
a1.sinks.k1.type = logger

# 指定Flume channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 繫結source和sink到channel上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

6.啟動flume agent

$ cd flume
$ bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name a1 -Dflume.root.logger=INFO,console

引數	作用	舉例
–conf 或 -c	指定配置資料夾，包含flume-env.sh和log4j的配置檔案	–conf conf
–conf-file 或 -f	配置檔案地址	–conf-file conf/flume.conf
–name 或 -n	agent名稱	–name a1
-z	zookeeper連線字串	-z zkhost:2181,zkhost1:2181
-p	zookeeper中的儲存路徑字首	-p /flume

7.簡單的操作

寫入日誌內容
在/home/hadoop/log 下建立一個flume.log 日誌檔案，寫入hello flume 作為測試內容

$ cd /home/hadoop/log
$ vi flume.log

接著就可以在前一個終端看到剛剛採集的內容了,如下：

2017-09-18 22:18:28,937 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:95)] Event: { headers:{} body: 68 65 6C 6C 6F 20 66 6C 75 6D 65 20 21 21       hello flume !! }

如圖：

至此flume已經能夠正常執行。

————————-華麗的分割線——————————–