1. 程式人生 > >Hadoop大家庭有哪些?Hadoop家族主要成員關系

Hadoop大家庭有哪些?Hadoop家族主要成員關系

hadoop hadoop家族

Common

一組由分布式文件系統和通用I/O的組件與接口(序列化, Java RPC, 持久化數據結構)。


Avro

一種支持高效、跨語言的RPC以及永久化存儲數據的序列化系統。


MapReduce

分布式數據處理模型和執行環境,運行於大型的商用機集群。


HDFS

分布式文件系統,運行於大型的商用機集群。


Pig

一種數據流語言和運行環境,用以檢索非常大的數據集。 Pig 運行在HDFS 和MapReduceclusters上。


Hive


分布式的,按列存儲的數據倉庫。 Hive 管理存儲在HDFS 的數據,並提供基於SQL的查詢語句(運行時候,引擎翻譯成MapReduce作業) 以查詢數據。


HBase


一個分布式的,按列存儲的數據庫HBase使用HDFS 作為底層存儲,同時支持MapReduce的批量計算和點查詢(隨機即讀取)。


ZooKeeper


一個分布式的高可用性的協調服務。 ZooKeeper提供分布式鎖之類的基本服務,用於構建分布式應用。


Sqoop


在數據庫和HDFS之間高效數據傳輸工具。


Oozie


Oozie是Hadoop提供的一個工作流系統。


Hadoop家族主要成員關系

技術分享


本文出自 “中科院計算所培訓” 博客,謝絕轉載!

Hadoop大家庭有哪些?Hadoop家族主要成員關系