1. 程式人生 > >大數據學習資料,Hadoop技術的優缺點

大數據學習資料,Hadoop技術的優缺點

自動 大數據培訓 開發人員 信息流 系統 語言 保存 副本 資料

現在,Hadoop應運而生,龐大的信息流有了新的處理平臺。今天給大家分享的大數據培訓課程是:Hadoop技術的優缺點。

1、Hadoop的優點

(1)Hadoop具有按位存儲和處理數據能力的高可靠性。

(2)Hadoop通過可用的計算機集群分配數據,完成存儲和計算任務,這些集群可以方便地擴展到數以千計的節點中,具有高擴展性。

(3)Hadoop能夠在節點之間進行動態地移動數據,並保證各個節點的動態平衡,處理速度非常快,具有高效性。

(4)Hadoop能夠自動保存數據的多個副本,並且能夠自動將失敗的任務重新分配,具有高容錯性。

2、Hadoop的缺點

(1)Hadoop不適用於低延遲數據訪問。

(2)Hadoop不能高效存儲大量小文件。

(3)Hadoop不支持多用戶寫入並任意修改文件。

3、Hadoop版本簡介: 

Hadoop自誕生以來,主要出現了Hadoop1、Hadoop2、Hadoop3三個系列多個版本。HDFS和MapReduce是Hadoop1的核心組件,Hadoop生態圈裏的很多組件都是基於HDFS和MapReduce發展出來的。在繼Hadoop1之後出現了Hadoop2,Hadoop2在Hadoop1的基礎上做了改進。相比Hadoop1,Hadoop2的三大核心組件分別是HDFS、MapReduce、Yarn。目前市面上絕大部分企業使用的是Hadoop2。

Hadoop2的一個公共模塊和三大核心組件組成了四個模塊,簡介如下:

(1)Hadoop Common:為其他Hadoop模塊提供基礎設施。

(2)HDFS:具有高可靠性、高吞吐量的分布式文件系統。

(3)MapReduce:基於Yarn系統,分布式離線並行計算框架。

(4)Yarn:負責作業調度與集群資源管理的框架。

  1. HBASE (分布式列存數據庫)

源自Google的Bigtable論文,發表於2006年11月,HBase是Google Bigtable克隆版

HBase是一個建立在HDFS之上,面向列的針對結構化數據的可伸縮、高可靠、高性能、分布式和面向列的動態模式數據庫。

HBase采用了BigTable的數據模型:增強的稀疏排序映射表(Key/Value),其中,鍵由行關鍵字、列關鍵字和時間戳構成。

HBase提供了對大規模數據的隨機、實時讀寫訪問,同時,HBase中保存的數據可以使用MapReduce來處理,它將數據存儲和並行計算完美地結合在一起。

  1. Zookeeper (分布式協作服務)

源自Google的Chubby論文,發表於2006年11月,Zookeeper是Chubby克隆版

解決分布式環境下的數據管理問題:統一命名,狀態同步,集群管理,配置同步等。

Hadoop的許多組件依賴於Zookeeper,它運行在計算機集群上面,用於管理Hadoop操作。

  1. HIVE (數據倉庫)

由facebook開源,最初用於解決海量結構化的日誌數據統計問題。

Hive定義了一種類似SQL的查詢語言(HQL),將SQL轉化為MapReduce任務在Hadoop上執行。通常用於離線分析。

HQL用於運行存儲在Hadoop上的查詢語句,Hive讓不熟悉MapReduce開發人員也能編寫數據查詢語句,然後這些語句被翻譯為Hadoop上面的MapReduce任務。

大數據學習資料,Hadoop技術的優缺點