1. 程式人生 > >大資料技術Hadoop生態圈

大資料技術Hadoop生態圈

檔案儲存:Hadoop HDFS、Tachyon、KFS、Carbon、Parquet 離線計算:Hadoop MapReduce、Spark 流式、實時計算:Storm、Spark Streaming、S4、Heron、Flink K-V、NOSQL資料庫:HBase、Redis、MongoDB 資源管理:YARN、Mesos 日誌收集:Flume、Scribe、Logstash、Kibana 訊息系統:Kafka、StormMQ、ZeroMQ、RabbitMQ 查詢分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、分散式協調服務:Zookeeper、Kylin、Druid 叢集管理與監控:Ambari、Ganglia、Nagios、Cloudera Manager 資料探勘、機器學習:Mahout、Spark MLLib 資料同步:Sqoop 任務排程:Oozie