1. 程式人生 > >Flume之監聽目錄變化並上傳檔案到HDFS中

Flume之監聽目錄變化並上傳檔案到HDFS中

vim /usr/local/flume/conf/exex-hdfs.conf

a1.sources = r1        

a1.sinks = k1        
a1.channels = c1    

# Describe/configure the source
a1.sources.r1.type = spooldir        
a1.sources.r1.spoolDir = /opt/data/logs
a1.sources.r1.fileHeader = true

# Describe the sink   
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://master:9000/input/flume/%y/%m
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 40
a1.sinks.k1.hdfs.roundUnit = second
a1.sinks.k1.hdfs.useLocalTimeStamp = true

# Use a channel which buffers events in memory
a1.channels.c1.type = memory                
a1.channels.c1.capacity = 1000            

a1.channels.c1.transactionCapacity = 100   

# Bind the source and sink to the channel    
a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

//啟動指令碼

flume-ng agent --conf conf --conf-file  exec-hdfs.conf --name a1 -Dflume.root.logger=INFO,console

相關推薦

Flume目錄變化檔案HDFS

vim /usr/local/flume/conf/exex-hdfs.conf a1.sources = r1         a1.sinks = k1         a1.channels = c1     # Describe/configure the sour

Vue資料變化

1.輕度監視 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title></title> <

Android網路變化跳轉到WiFi設定

在開啟App進入程式時,一般都會進行網路請求資料,但如果手機沒有聯網怎麼辦?總不能什麼都不顯示吧,然後使用者又連線上網路了,這個時候我們應該繼續網路請求吧,所以我們應該實時的監聽手機的網路. 先簡單說

在GitHub建立倉庫檔案

1.首先建立github賬號 2.安裝git 3.配置ssh-key: 用git base命令列生成ssh-key,輸入ssh-keygen -t rsa      //一路回車下來,會得到下面的畫面: 4.在github網站上配置ssh-key:

IntelliJ IDEA實現遠端連線linux,檔案到linux伺服器(SSH會話功能和SFTP功能)

注意: eclipse的SSH會話功能和SFTP功能這裡不會說 點選以下連結可檢視   eclipse的SSH會話功能和SFTP功能 而IntelliJ IDEA(以下簡稱為IDEA)這麼強大的開發工具自然也有該功能,這篇部落格就介紹一下IDEA的SSH會話功能

在雲伺服器(Windows系統)端建立ftp服務端,檔案

1.開始—》搜尋“mstsc”—>如下圖 之後有要求輸入使用者名稱和密碼,注意是使用者名稱預設是administrator,密碼是雲伺服器的密碼(包括大小寫和字元的那個密碼) 2.連

scala和java解壓zip的檔案hdfs伺服器

之前一直使用的事java開發的,後來學習hadoop,spark以後,需要做一個解壓檔案到伺服器的例子,由於學習scala時間不長,故先用java程式碼寫出來,在改成scala的程式碼,過程中出現了很多問題,我將會在最後說明,請大家注意不要少了包。 環境宣告:windows

Hadoop:本地檔案(window系統)定時獲取檔案HDFS檔案(兩個虛擬機器)系統 Java 實現

實現功能:定時日誌採集並上傳至HDFS檔案系統的Java API實現 環境+工具:windows  +  虛擬機器Centos * 2  +  eclipse  +  windows下編譯的Hadoop jar包  +  Hadoop叢集 一、流程        1)啟

Android——通過GPS獲取使用者地理位置位置變化

這個功能挺簡單的,最近用到了就總結下: 1、開啟地理位置監聽: /* * 開啟地理位置監聽 */ public void registerGpsListener(Context context) { Log

在input元素用非繫結的方式回車事件傳遞引數

場景是動態生成html元素,為生成的input新增事件。 要求有兩點:非繫結的方式並且需要傳遞引數 ;引數為方法名稱,回撥該方法並將input的值作為引數。 參考實現如下: input寫法 tmp.push('<input type="text" id="myInp

09.VUE學習watch屬性變化實現類百度搜索欄功能ajax異步請求數據

class ivr url 實現類 int php head 實現 sta cmd下安裝axios npm install axios 安裝好後,會多出node_modules文件夾 思路: 監聽data裏的word改變時,發送ajax異步請求數據, 把返回的數據賦值給d

09.1.VUE學習watch屬性變化實現類百度搜索欄功能ajax非同步請求資料,返回陣列

09.1html裡 <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge">

android某個資料庫值的變化

1、在onCreate 函式中註冊監聽:其中CONTENT_URI 部分就是你關心的資料庫欄位的URI地址 getApplicationContext().getContentResolver().registerContentObserver(CONTENT_URI, t

Android開發入門實現動態註冊廣播網路變化

最近在學習Android開發中廣播的相關內容。 註冊廣播的方式有兩種,在程式碼中註冊和在AndroidManifest.xml中註冊,其中前者也被稱為動態註冊,後者被稱為靜態註冊。以註冊廣播監聽網路變化為例,附上實現動態註冊的步驟: 1、 class Netwo

node watch目錄檔案變化執行相關操作

#!/usr/bin/env node var shell = require("shelljs");     //執行shell var watch = require('watch');       //監測目錄變化 watch.watchTree('./scripts

Vue-- 路由變化,數據無法更新?

響應 被調用 數據驅動 後來 實例 無法 誤區 .com 來看   之前寫的Vue項目,有個問題困擾了好久。新聞板塊有推薦、精華、最新等幾個Tab,設想通過切換Tab,改變路由參數(get/news/:tab)去獲取對應數據,然後渲染到頁面(用的是同一套組件),問題來了:當

Angular.js使用$watch模型變化

數組 r.js imac all 註銷 表達式 而不是 group equal $watch簡單使用 $watch是一個scope函數,用於監聽模型變化,當你的模型部分發生變化時它會通知你。 $watch(watchExpression, listener, obj

react-router搭配react-redux無法路由變化的問題

不必要 默認 cti 傳遞 通過 nbsp fun urn style 在react中,要將react組件連接到redux中,通常會這樣包裝組件 class Home extends Component { } function select(state)

js input變化

chang rop for dds prop class brush input pre $(document).on(‘input propertychange‘, ‘#addShop .form-control‘, function() {   if($(this).

微信小程序input輸入取值

col com 9.png log color 程序 html console pos 小程序的事件分為兩種,冒泡和非冒泡事件,像<form/>的submit事件,<input/>的input事件,<scroll-view/>的scrol