1. 程式人生 > >【圖文詳細 】Flume 資料採集元件——實戰案例

【圖文詳細 】Flume 資料採集元件——實戰案例

5、Flume 實戰案例 

 

5.1、安裝部署 Flume 
1、Flume 的安裝非常簡單,只需要解壓即可,當然,前提是已有 Hadoop 環境上傳安裝包到 資料來源所在節點上 然後解壓 tar -zxvf apache-flume-1.8.0-bin.tar.gz 然後進入 flume 的目錄,修改 conf 下的 flume-env.sh,在裡面配置 JAVA_HOME 
 
2、根據資料採集的需求配置採集方案,描述在配置檔案中(檔名可任意自定義) 
 
3、指定採集方案配置檔案,在相應的節點上啟動 flume agent 
 
先用一個最簡單的例子來測試一下程式環境是否正常 
 
1、在$FLUME_HOME/agentconf 目錄下建立一個數據採集方案,該方案就是從一個網路埠 收集資料,也就是創一個任意命名的配置檔案如下:netcat-logger.properties 檔案內容如下: 

2、啟動 agent 去採集資料: 在$FLUME_HOME 下執行如下命令: 

更多 Sources:http://flume.apache.org/FlumeUserGuide.html#flume-sources 

更多 Channels:http://flume.apache.org/FlumeUserGuide.html#flume-channels 

更多 Sinks:http://flume.apache.org/FlumeUserGuide.html#flume-sinks