1.2 Flume實戰案例

1.2.1 Flume的安裝部署

1、Flume的安裝非常簡單，只需要解壓即可，當然，前提是已有hadoop環境
上傳安裝包到資料來源所在節點上
然後解壓 tar -zxvf apache-flume-1.6.0-bin.tar.gz，最終解壓到的位置是：/home/tuzq/software/apache-flume-1.6.0-bin
然後進入flume的目錄，修改conf下的flume-env.sh，在裡面配置JAVA_HOME

2、根據資料採集的需求配置採集方案，描述在配置檔案中(檔名可任意自定義)
3、指定採集方案配置檔案，在相應的節點上啟動flume agent

先用一個最簡單的例子來測試一下程式環境是否正常

1、先在flume的conf目錄下新建一個檔案

vi netcat-logger.conf（這個是我們自己定義的採集方案的配置檔案）

#定義這個agent中各元件的名字
##表示agent中的source元件
a1.sources = r1
##表示的是下沉元件sink
a1.sinks = k1
##agent內部的資料傳輸通道channel，用於從source將資料傳遞到sink
a1.channels = c1

#描述和配置source元件：r1
##netcat用於監聽一個埠的
a1.sources.r1.type
 
 = netcat
##配置的繫結地址,這個機器的hostname是hadoop1,所以下面也可以配置成hadoop1
a1.sources.r1.bind = localhost
##配置的繫結埠
a1.sources.r1.port = 44444

#描述和配置sink元件：k1
a1.sinks.k1.type = logger

##描述和配置channel元件，此處使用時記憶體快取的方式
#下面表示的是快取到記憶體中，如果是檔案，可以使用file的那種型別
a1.channels.c1.type = memory
#表示用多大的空間
a1.channels.c1.capacity = 1000
 

#下面表示用事務的空間是多大
a1.channels.c1.transactionCapacity = 100

# 描述和配置source channel sink之間的連線關係,因為source和sink依賴channel來傳遞資料，所以要分別指定用的是哪個channel。
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2、啟動agent去採集資料

bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console
-c conf 指定flume自身的配置檔案所在目錄
-f conf/netcat-logger.con 指定我們所描述的採集方案
-n a1 指定我們這個agent的名字（是配置檔案中寫的那個agent）

3、測試

先要往agent採集監聽的埠上傳送資料，讓agent有資料可採
隨便在一個能跟agent節點聯網的機器上
telnet anget-hostname port （telnet hadoop1 44444）

在telnet終端上輸入內容，最後回到開啟的agent,發現有內容輸出，輸出的內容如下：

綜上所述：說明flume已經安裝配置成功！