1. 程式人生 > >大數據Hadoop需要了解哪些內容?

大數據Hadoop需要了解哪些內容?

大數據開發 大數據 Hadoop

一、Hadoop環境搭建

1. Hadoop生態環境介紹

2. Hadoop雲計算中的位置和關系

3. 國內外Hadoop應用案例介紹

4. Hadoop概念、版本、歷史

5. Hadoop核心組成介紹及hdfs、mapreduce體系結構

6. Hadoop獨立模式安裝和測試

7. Hadoop的集群結構

8. Hadoop偽分布的詳細安裝步驟

9. 通過命令行和瀏覽器觀察Hadoop

10. Hadoop啟動腳本分析

11. Hadoop完全分布式環境搭建

12. Hadoop安全模式、回收站介紹

二、HDFS體系結構和Shell以及Java操作

1. HDFS底層工作原理

2. HDFSdatanode,namenode詳解

3. 單點故障(SP0F)和高可用(HA)

4. 通過API訪問HDFS

5. 常用壓縮算法介紹和安裝使用

6. Maven介紹和安裝,eclipse中使用Maven,搭建Maven本地倉庫

三、Mapreduce學習

1. Mapreduce四個階段介紹

2. Job、Task介紹

3. 默認工作機制

4. 創建MR應用開發,獲取年度的最高氣溫

5. 在Windows上運行MR作業

6. Mapper、Reducer

7. InputSplit和OutputSplit

8. Shuffle:Sort,Partitioner,Group,Combiner

9. 通過計數器調試程序

10. 在Windows安裝Hadoop

11. 在eclipse安裝Hadoop插件,訪問Hadoop資源

12. 在eclipse中編寫ant腳本

13. YARN調度框架事件分發機制

14. 遠程調試資源管理器

15. Hadoop的底層google ProtoBuf的協議分析

16. Hadoop底層IPC原理和RPC

四、Hadoop高可用-HA

1. Hadoop2.x集群結構體系介紹

2. Hadoop2.x集群搭建

3. NameNode的高可用性(HA)

4. HDFS Federation

5. ResourceManager的高可用性(HA)

6. Hadoop集群常見問題和解決辦法


大數據Hadoop需要了解哪些內容?