Hadoop是一個由Apache基金會所開發的分布式系統集成架構，用戶可以在不了解分布式底層細節情況下，開發分布式程序，充分利用集群的威力來進行高速運算與存儲，具有可靠、高效、可伸縮的特點

Hadoop的核心是YARN,HDFS,Mapreduce,常用模塊架構如下

2、HDFS

源自谷歌的GFS論文，發表於2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop體系中數據存儲管理的基礎，它是一個高度容錯的系統，能檢測和應對硬件故障

HDFS簡化了文件一致性模型，通過流式數據訪問，提供高吞吐量應用程序數據訪問功能，適合帶有大型數據集的應用程序，它提供了一次寫入多次讀取的機制，數據以塊的形式，同時分布在集群不同物理機器

3、Mapreduce

源自於谷歌的MapReduce論文，用以進行大數據量的計算，它屏蔽了分布式計算框架細節，將計算抽象成map和reduce兩部分

4、HBASE(分布式列存數據庫)

源自谷歌的Bigtable論文，是一個建立在HDFS之上，面向列的針對結構化的數據可伸縮，高可靠，高性能分布式和面向列的動態模式數據庫

5、zookeeper

解決分布式環境下數據管理問題，統一命名，狀態同步，集群管理，配置同步等

6、HIVE

由Facebook開源，定義了一種類似sql查詢語言，將SQL轉化為mapreduce任務在Hadoop上面執行

7、flume

日誌收集工具

8、yarn分布式資源管理器

是下一代mapreduce，主要解決原始的Hadoop擴展性較差，不支持多種計算框架而提出的，架構如下

9、spark

spark提供了一個更快更通用的數據處理平臺，和Hadoop相比，spark可以讓你的程序在內存中運行

10、kafka

分布式消息隊列，主要用於處理活躍的流式數據

11、Hadoop偽分布式部署

目前而言，不收費的Hadoop版本主要有三個，都是國外廠商，分別是

1、Apache原始版本

2、CDH版本，對於國內用戶而言，絕大多數選擇該版本

3、HDP版本

這裏我們選擇CDH版本hadoop-2.6.0-cdh5.8.2.tar.gz，環境是CentOS7.1，jdk需要1.7.0_55以上

[root@hadoop1 ~]# useradd hadoop

我的系統默認自帶的java環境如下

增加如下環境變量

做好如下授權

這裏以Hadoop用戶來進行管理和啟動Hadoop的各種服務

查看服務啟動情況

結語

感謝您的觀看，如有不足之處，歡迎批評指正。

為了幫助大家讓學習變得輕松、高效，給大家免費分享一大批資料，幫助大家在成為大數據工程師，乃至架構師的路上披荊斬棘。在這裏給大家推薦一個大數據學習交流圈：658558542 歡迎大家進×××流討論，學習交流，共同進步。

當真正開始學習的時候難免不知道從哪入手，導致效率低下影響繼續學習的信心。

但最重要的是不知道哪些技術需要重點掌握，學習時頻繁踩坑，最終浪費大量時間，所以有有效資源還是很有必要的。

最後祝福所有遇到瓶疾且不知道怎麽辦的大數據程序員們，祝福大家在往後的工作與面試中一切順利。

大數據初學者的福利——Hadoop快速入門教程