flume簡介 cloudera 公司開源的，貢獻給Apache基金會 http://flume.apache.org/ http://archive.cloudera.c

隨著近幾年新能源發電行業的迅猛發展，新能源大資料中心平臺建設也悄然興起。越來越多的新能源企業投入人力、物力和財力著手建設自己的大資料中心，旨在提升生產管理水平和發電經濟效益。大資料中心建設首先要解決的問題是大

大資料時代，海量資料採集應用是企業大資料平臺關鍵技術之一。尤其是對來自於智慧化裝置、多感測器、原生日誌等實時性高、體量大、多源異構的大量資料，如何搭建一套先進、高效、穩定和靈活的實時大資料採集技術架構體系呢？本

需求：做一個windows服務，實現從ftp伺服器實時下載或者更新檔案到本地磁碟。 功能挺簡單的。直接寫個ftp工具類用定時器跑就能搞定，那我為什麼不用呢？ 別問，問就是我無聊啊，然後研究一下Flume

agent1 exec source + memory channel + avro sink agent2  avro source + memory channel  模擬實際工作中的場景，ag

在叢集化環境裡，日誌採集是重要基礎設施。本文結合最新的 1.0.9 版，對 logpipe 做一個簡單的介紹。開源主流解決方案是基於 flume-ng，但在實際使用中發現 flume-ng 存在諸多問題。

1.0.9           2018-11-15      calvin * 外掛logpipe-output-ingeek的服務端主機配置數量擴大到32個 1.0.8           2018

大資料時代，一大技術特徵是對海量資料採集、儲存和分析的多元件解決方案。而其中對來自於感測器、APP的SDK和各類網際網路應用的原生日誌資料的採集儲存則是基本中的基本。本系列文章將從0到1，概述一下搭建基於Kaf

flume-ng 概要 Apache Flume 是一個分散式，可靠且可用的系統，用於有效地從許多不同的源收集、聚合和移動大量日誌資料到一個集中式的資料儲存區。 Flume 的使用不只限於日誌資