1. 程式人生 > >Kafka與Flume的異同點

Kafka與Flume的異同點

Kafka和flume作為資料採集通道的區別: 將資料從某一個數據源匯入HDFS或者HBase,Kafka是一個半成品,需要自己完成消費者程式的編寫,而flume只需要改配置就可以導資料進入HDFS或者HBase,相當於Flume自身包含了消費者程式,不需要程式設計師去開發。另外,Flume自帶的interceptors也可以用來處理資料,而Kafka如果要處理資料還需要接入外部流處理系統,比如storm,spark等。

所以實際生產中,通常是外部資料來源採資料到Kafka,Kafka再通過Flume導資料到HDFS。為什麼不直接將外部資料來源接入Flume,這是因為Kafka可以實現多生產者和多消費者,可以接入外部各種各樣的資料來源,同時Kafka可以同時接入Flume之外的其他資料匯入系統,這樣以後擴充套件更靈活。