大數據學習資料,Hadoop技術的優缺點
1、Hadoop的優點
(1)Hadoop具有按位存儲和處理數據能力的高可靠性。
(2)Hadoop通過可用的計算機集群分配數據,完成存儲和計算任務,這些集群可以方便地擴展到數以千計的節點中,具有高擴展性。
(3)Hadoop能夠在節點之間進行動態地移動數據,並保證各個節點的動態平衡,處理速度非常快,具有高效性。
(4)Hadoop能夠自動保存數據的多個副本,並且能夠自動將失敗的任務重新分配,具有高容錯性。
2、Hadoop的缺點
(1)Hadoop不適用於低延遲數據訪問。
(2)Hadoop不能高效存儲大量小文件。
(3)Hadoop不支持多用戶寫入並任意修改文件。
3、Hadoop版本簡介:
Hadoop自誕生以來,主要出現了Hadoop1、Hadoop2、Hadoop3三個系列多個版本。HDFS和MapReduce是Hadoop1的核心組件,Hadoop生態圈裏的很多組件都是基於HDFS和MapReduce發展出來的。在繼Hadoop1之後出現了Hadoop2,Hadoop2在Hadoop1的基礎上做了改進。相比Hadoop1,Hadoop2的三大核心組件分別是HDFS、MapReduce、Yarn。目前市面上絕大部分企業使用的是Hadoop2。
Hadoop2的一個公共模塊和三大核心組件組成了四個模塊,簡介如下:
(1)Hadoop Common:為其他Hadoop模塊提供基礎設施。
(2)HDFS:具有高可靠性、高吞吐量的分布式文件系統。
(3)MapReduce:基於Yarn系統,分布式離線並行計算框架。
(4)Yarn:負責作業調度與集群資源管理的框架。
- HBASE (分布式列存數據庫)
源自Google的Bigtable論文,發表於2006年11月,HBase是Google Bigtable克隆版
HBase是一個建立在HDFS之上,面向列的針對結構化數據的可伸縮、高可靠、高性能、分布式和面向列的動態模式數據庫。
HBase采用了BigTable的數據模型:增強的稀疏排序映射表(Key/Value),其中,鍵由行關鍵字、列關鍵字和時間戳構成。
HBase提供了對大規模數據的隨機、實時讀寫訪問,同時,HBase中保存的數據可以使用MapReduce來處理,它將數據存儲和並行計算完美地結合在一起。
- Zookeeper (分布式協作服務)
源自Google的Chubby論文,發表於2006年11月,Zookeeper是Chubby克隆版
解決分布式環境下的數據管理問題:統一命名,狀態同步,集群管理,配置同步等。
Hadoop的許多組件依賴於Zookeeper,它運行在計算機集群上面,用於管理Hadoop操作。
- HIVE (數據倉庫)
由facebook開源,最初用於解決海量結構化的日誌數據統計問題。
Hive定義了一種類似SQL的查詢語言(HQL),將SQL轉化為MapReduce任務在Hadoop上執行。通常用於離線分析。
HQL用於運行存儲在Hadoop上的查詢語句,Hive讓不熟悉MapReduce開發人員也能編寫數據查詢語句,然後這些語句被翻譯為Hadoop上面的MapReduce任務。
大數據學習資料,Hadoop技術的優缺點