大三學習規劃路線圖
阿新 • • 發佈：2017-07-29
開發 創建 消息 數據格式 拷貝 href 機制 軟件包 解析
路線圖介紹:
本課程對大數據生態系統進行全方位講解，有hadoop實操與底層原理應用，DFS與MapRedcue的全新解讀，內含有全網獨家發布的YARN調度框架的底層事件二次分發機制和Google源碼級IPC和RPC的通信技術原理與報文字節碼級別的協議分析，Scala語言的編程技巧與java語言的互操作性，Spark中數據處理如何彈性化、如何調優以及對Scala編程語言的典型應用。ZooKeeper作為分布式系統協同服務的原理實現與實戰應用，zkCli下同zk的交互模式以及素有瑞士***之稱的NC指令在zk中的運用，Hbase作為面向列族的數據庫實現原理以及同ZooKeeper的整合技術，Hive數據倉庫技術的使用技巧以及在傳統RDBMS的交互與過渡。Mahout以R語言在機器學習領域的重要性和編程技能，Linux下虛擬化與雲計算的技術講解及實戰應用。各種streaming數據處理以加壓縮技術的性能對比和優化，獨立搭建Hortonworks本地倉庫，並利用Ambari技術在企業大規模構造大數據規模化集群時的實戰過程，一站式安裝、配置、調優、監控、運維大數據集群的解決方案。
本路線圖針學習目標:
掌握大數據概念和核心應用場景，能夠徹底認識到大數據的重要性，以及能夠有效把握未來大數據的發展方向。能夠掌握hadoop的技術架構和底層原理，對分布式架構能夠做到更深入的認識和體會，尤其是yarn框架的底層事件分發機制、輪詢機制、多線程以及nio的組合應用。還有更重要的基於google的IPC通信技術。能夠獨立搭建hadoop集群、配置以及管理。能夠靈活應用hadoop生態系統的各種技術進行數據處理。其中對Linux的技術知識也不可小覷，能夠搭建各種倉庫本地，比如ubuntu軟件源、ambari、maven等等一系列組件，都是在企業中極其適用的技術。掌握spark和核心技術尤其是RDD的原理與使用，還有scala語言的掌握。
| 第一階段：Hadoop基礎環境搭建與3種模 | |
| 介紹 | 學員請先學習本部分基礎課程。本部分將主要講解Hadoop基礎環境搭建與3種模式配置！ |
| 技術大點1：Hadoop第一季--基礎知識實戰視頻課程 | |
| 重點解析：本課準對大數據進行基礎的環境搭建，目前市場比較火的大數據，我們會從基礎搭建開始一步步教學 | |
| 序號 | 技術點細分 |
| 1 | Hadoop介紹 |
| 2 | Hadoop基礎課程VMware安裝 |
| 3 | Hadoop基礎課程Ubuntu下載與虛擬機下安裝 |
| 4 | Hadoop基礎課程Ubuntu常用命令 |
| 5 | Hadoop基礎課程Ubuntu目錄和權限 |
| 6 | Hadoop基礎課程Ubuntu軟件包桌面程序以及增強工具 |
| 7 | Hadoop基礎課程Ubuntu本地軟件源與ISO制作 |
| 8 | Hadoop基礎課程Ubuntu克隆與Mac生成&網絡連接方式 |
| 9 | Hadoop在Ubuntu下安裝JDK |
| 10 | Hadoop在Ubuntu下安裝Hadoop |
| 技術大點2：Hadoop第二季-1.配置獨立模式視頻課程 | |
| 重點解析：介紹hadoop獨立模式，場景使用。一步步演示怎麽配置獨立模式，並且通過案例介紹獨立模式，學完此課程學生會明白偽分布模式與獨立模式，完全模式的區別。 | |
| 序號 | 技術點細分 |
| 1 | Hadoop配置獨立模式 |
| 技術大點3：Hadoop第二季-2.偽分布式模式的配置視頻課程 | |
| 重點解析：學會如何配置偽分布模式以及使用場景，一步步演示怎麽配置偽分布模式，學完此課程學生會明白偽分布模式與獨立模式的區別 | |
| 序號 | 技術點細分 |
| 1 | Hadoop配置偽分布式模式 |
| 技術大點4：Hadoop第二季-3.配置完全分布式模式視頻課程 | |
| 重點解析：hadoop三種模式:獨立模式，偽模式，完全分布模式。目前常用配置模式，學會使用配置完全分布模式。 | |
| 序號 | 技術點細分 |
| 1 | Hadoop配置完全分布模式之修改虛擬機名稱和目錄 |
| 2 | Hadoop配置完全分布模式之修改登錄提示和主機名 |
| 3 | Hadoop配置完全分布模式之使用符號鏈接實現配置分離 |
| 4 | Hadoop完全分布模式之克隆客戶機與ssh遠程無密登錄 |
| 5 | .Hadoop配置完全分布模式之IP設置與遠程拷貝與格式化啟動 |
| 第二階段：win7下面配置環境以及mapred | |
| 介紹 | win7下面配置環境以及mapreduce架構分析與應用 |
| 技術大點5：Hadoop第三季-Win7下免搭建Cygwin視頻課程 | |
| 重點解析：在win7下面即使不安裝cygwin軟件，也能在win7下面搭建hadoop環境，中間只需要引入一個第三方增強軟件（hadoop-common.zip）即可。 | |
| 序號 | 技術點細分 |
| 1 | hadoop在Win7下免Cygwin安裝以及第三方增強軟件介入 |
| 2 | Win7下免Cygwin安裝續與NativeBug解決與Dexpot |
| 技術大點6：Hadoop第四季-架構分析實戰視頻課程 | |
| 重點解析：掌握架構結構，體系結構，HDFS架構分析，NN和DN原生解讀，Hadoop架構分析之啟動腳本分析一 | |
| 序號 | 技術點細分 |
| 1 | Hadoop架構分析之單節點體系 |
| 2 | Hadoop架構分析之集群結構分析 |
| 3 | Hadoop架構分析之HDFS架構分析 |
| 4 | Hadoop架構分析之NN和DN原生文檔解讀 |
| 5 | Hadoop架構分析之啟動腳本分析一 |
| 技術大點7：Hadoop第五季-啟動腳本分析視頻課程 | |
| 重點解析：讓想學習hadoop的人知道hadoop啟動原理，全方便的掌握hadoop原理。 | |
| 序號 | 技術點細分 |
| 1 | Hadoop啟動腳本分析集群id的兼容與start-allcmd講解 |
| 2 | Hadoop啟動腳本分析start-dfs與hadoop-config |
| 3 | Hadoop啟動腳本分析hadoop.cmd命令 |
| 4 | Hadoop啟動腳本分析數據格式化與hdfs.cmd命令 |
| 5 | Hadoop啟動腳本分析mared和虛擬機參數的配置 |
| 6 | Hadoop啟動腳本分析start-yarn命令 |
| 7 | Hadoop啟動腳本分析yarn.cmd與yarn-evn.cmd命令 |
| 8 | Hadoop架構分析之啟動腳本分析終極hdsfs部分 |
| 9 | Hadoop架構分析之啟動腳本分析終極yarn部分 |
| 技術大點8：Hadoop第六季-MapReduce代碼實現案例視頻課程 | |
| 重點解析：通過此章可以快速了解MapReduce，並且通過代碼實現大數據編寫 | |
| 序號 | 技術點細分 |
| 1 | Hadoop MapReduce初識 |
| 2 | Hadoop MapReduce編寫Mapper類 |
| 3 | Hadoop MapReduce編寫Reducer類 |
| 4 | Hadoop MapReduce編寫主函數類 |
| 5 | Hadoop MapReduce獨立模式運行程序 |
| 技術大點9：Hadoop第七季-MapReduce定制block限制+輸入切 | |
| 重點解析：了解學習MapReduce集群模式下一些知識 | |
| 序號 | 技術點細分 |
| 1 | Hadoop MapReduce集群模式下運行程序 |
| 2 | Hadoop MapReduce集群模式調整配置與shell |
| 3 | Hadoop MapReduce集群模式調整配置最小塊 |
| 4 | Hadoop MapReduce集群模式調整配置考查數據分布 |
| 5 | Hadoop MapReduce定制切割與副本數以及塊大小定制 |
| 6 | Hadoop MapReduce集群模式深入定制切割與切割法則考查 |
| 7 | win7下配置networks文件映射主機名和端口號利於網絡訪問 |
| 8 | MapReduce原理之物理導航+eclipse安裝+後臺啟動+命令化 |
| 9 | Hadoop MapReduce原理之Hadoop插件安裝+配置+驗證 |
| 10 | Hadoop MapReduce原理之與大象裝進冰箱的相似點 |
| 11 | Hadoop MapReduce原理之進入流程圖 |
| 12 | Hadoop MapReduce原理之核心類Job和ResourceManager解讀 |
| 13 | Hadoop MapReduce原理之核心類NodeManager和MRAppMaster解讀 |
| 14 | Hadoop MapReduce原理核心類Yarn與MapTask與ReduceTask |
| 15 | Hadoop MapReduce原理之核心類RM與NM與AM的體系結構分析 |
| 技術大點10：Hadoop第八季-1.MapReduce原理探查準備視頻課程 | |
| 重點解析：一般同學只會用而不知道原理，為了增加工作中更好的應用MapReduce，徐培成老師對MapReduce原理進行3個課程的分析。 | |
| 序號 | 技術點細分 |
| 1 | Hadoop MR win7下配置networks文件 |
| 2 | Hadoop MapReduce原理之物理導航等命令化操作 |
| 3 | Hadoop MapReduce原理之Hadoop插件安裝+配置+驗證 |
| 技術大點11：Hadoop第八季--2.MapReduce原理探查與大象關進冰 | |
| 重點解析：對hadoop中MapReduce原理探查與大象關進冰箱+流程圖 | |
| 序號 | 技術點細分 |
| 1 | Hadoop MapReduce原理之與大象裝進冰箱的相似點 |
| 2 | Hadoop MapReduce原理之進入流程圖 |
| 技術大點12：Hadoop第八季-3.MapReduce原理探查核心類整理分析 | |
| 重點解析：對Hadoop中MapReduce原理探查核心類整理分析 ，全面了解MapReduce | |
| 序號 | 技術點細分 |
| 1 | Hadoop MapReduce原理之核心類Job和ResourceManager解讀 |
| 2 | Hadoop MapReduce原理之核心類NodeManager和MRAppMaster解讀 |
| 3 | Hadoop MR原理之核心類Yarn與MapTask與ReduceTask解讀 |
| 4 | Hadoop MapReduce原理之核心類RM與NM與AM的體系結構分析 |
| 技術大點13：Hadoop第九季-1.MapReduce原理代碼實戰異常再現+A | |
| 重點解析：對hadoop中MapReduce原理通過代碼實戰講解並且通過異常再現+Ant | |
| 序號 | 技術點細分 |
| 1 | Hadoop MapReduce原理代碼實戰之錯誤信息展現於分析 |
| 2 | Hadoop MapReduce原理代碼實戰之Ant使用 |
| 技術大點14：Hadoop第九季--2.MapReduce原理代碼實戰Job提交推 | |
| 重點解析：MapReduce客戶端提交job的流程分析、job內部提交過程展示、job在提價後在hdfs集群上的各個文件內容與部分以及web ui的操作。 | |
| 序號 | 技術點細分 |
| 1 | Hadoop MapReduce原理代碼實戰之Job提交推演 |
| 技術大點15：Hadoop第九季-3.MapReduce原理探查核心類整理分析 | |
| 重點解析：從底層源代碼闡述MR原理技術，核心類的關系和體系結構,圖文並茂解析理論。 | |
| 序號 | 技術點細分 |
| 1 | Hadoop MapReduce原理代碼實戰之Job初始化分析 |
| 2 | Hadoop MapReduce原理代碼實戰之ResourceManager遠程調試 |
| 第三階段：YARN調度框架事件與Hadoop底層IPC和RPC通信原理解析 | |
| 介紹 | YARN調度框架事件與Hadoop底層IPC和RPC通信原理解析 |
| 技術大點16：Hadoop第十季-YARN調度框架事件二次分發原理深度解 | |
| 重點解析：掌握YARN底層事件調度機制，清晰描述Application基於狀態機的變換過程和實現原理，事件流處理方式，eclipse的遠程調試。 | |
| 序號 | 技術點細分 |
| 1 | Hadoop Yarn框架底層事件分發機制概述 |
| 2 | Hadoop Yarn框架底層事件分發調試準備 |
| 3 | Hadoop Yarn框架底層事件分發調試Async分發器調試 |
| 4 | Hadoop Yarn底層事件分發調試RMApp事件處理調試+狀態機變換 |
| 5 | Hadoop Yarn框架底層事件分發調試之狀態機事件觸發原理 |
| 技術大點17：Hadoop第十一季-Hadoop底層IPC和RPC通信原理解析 | |
| 重點解析：通過對Hadoop底層通信原理的闡述以及在源代碼層面上的跟蹤，結合圖形方式描述請求發送時，消息的封裝過成，讓大家理解hadoop在底層的通信過程，最終看到Socket通信的內容。 | |
| 序號 | 技術點細分 |
| 1 | Hadoop 底層IPC和RPC通信原理解析 |
| 第四階段：Ambari、ZooKeeper、Hbase | |
| 介紹 | YARN調度框架事件與Hadoop底層IPC和RPC通信原理解析 |
| 技術大點18：Ambari第一季-ambari介紹、安裝使用以及常見問題視 | |
| 重點解析：通過本章節介紹了解ambari的優點，工作原理，能夠熟練對ambari進行安裝配置，以及解決常見的錯誤和問題。了解HDP和HDP utils以及hortonworks項目。 | |
| 序號 | 技術點細分 |
| 1 | Ambari Hadoop集群管理軟件之介紹 |
| 2 | Ambari Hadoop集群管理軟件之下載安裝配置啟動登 |
| 3 | Ambari之疑難問題解決與Root賬戶無密登錄處理 |
| 技術大點19：Ambari第二季--集群管理本地軟件棧構建與使用視頻課程 | |
| 重點解析：掌握HDP軟件棧的執行原理，能夠數量進行HDP、Ambari等軟件的本地倉庫升級與配置。 | |
| 序號 | 技術點細分 |
| 1 | Ambari Hadoop集群管理軟件之HDP軟件棧本地倉庫搭建 |
| 2 | Ambari Hadoop集群管理軟件之AmbariServer通過本地倉庫安裝 |
| 3 | Ambari Hadoop集群管理軟件之Hadoop集群本地化安裝 |
| 技術大點20：ZooKeeper第一季-ZK簡介、下載與安裝視頻課程 | |
| 重點解析：了解ZooKeeper用途、原理，掌握ZooKeeper集群構建過程，解決在安裝期間常見的問題和錯誤。 | |
| 序號 | 技術點細分 |
| 1 | ZooKeeper簡介 |
| 2 | ZooKeeper下載與安裝 |
| 技術大點21：ZooKeeper第二季-Leader宕機演示、nc、zkCli命令使 | |
| 重點解析：掌握Leader的選舉過程，nc命令的使用，包括tcp網絡傳輸、文本聊天和端口掃描。zkCli命令的使用，zk的核心概念和專業術語。 | |
| 序號 | 技術點細分 |
| 1 | ZooKeeper分布式集群配制與Leader宕機測試 |
| 2 | ZooKeeper分布式集群配制與nc Linux命令的網絡通信利器 |
| 3 | ZooKeeper分布式集群配制與zk四字符客戶端指令 |
| 4 | ZooKeeper分布式集群配制與zkCli.sh客戶端程序使用 |
| 技術大點22：ZooKeeper第三季-ZK客戶端編程API使用、觀察者模式回調處理視頻課程 | |
| 重點解析：掌握zk核心類庫的使用和編程技巧，重點在zk觀察者中事件回調機制的使用以及one time方式的註意事項。 | |
| 序號 | 技術點細分 |
| 1 | ZooKeeper分布式集群協同之客戶端API調用 |
| 2 | ZooKeeper分布式集群協同之客戶端API創建和刪除path |
| 3 | ZooKeeper客戶端API觀察者模式與事件回調處理 |
| 技術大點23：HBase內功修煉實戰視頻課程 | |
| 重點解析：HBase直接上手實戰，深入掌握HBase。 | |
| 序號 | 技術點細分 |
| 1 | HBase介紹 |
| 2 | HBase安裝、體驗 |
| 3 | HBase完全分布式配置、啟動與shell命令查看 |
| 4 | HBase使用客戶端API動態創建Hbase數據表並在Hbase下導出執行 |
| 5 | HBase使用客戶端API完成數據庫CRUD操作 |
| 6 | HBase使用新型API類庫進行數據訪問操作 |
| 7 | HBase新API大批量插入以及hbase表結構與Hadoop文件系統 |
| 8 | HBase與ZooKeeper組合應用以及在shell下操縱namespace.avi |
| 技術大點24：Scala精通與實戰編程視頻課程 | |
| 重點解析：掌握Scala的編程語法，理解Scala的運行原理，熟練運用Scala進行程序開發，能夠在Java和Scala之間靈活切換和互操作。 | |
| 序號 | 技術點細分 |
| 1 | Scala介紹與安裝 |
| 2 | Scala基礎 |
| 3 | Scala操作符重載與Apply與包導入 |
| 4 | Scala控制結構與函數 |
| 5 | Scala異常處理與過程與延遲初始化 |
| 6 | Scala數組與多維數組 |
| 第五階段：征服Spark | |
| 介紹 | YARN調度框架事件與Hadoop底層IPC和RPC通信原理解析 |
| 技術大點25：征服Spark（一）入門與提高篇視頻課程 | |
| 重點解析：掌握Spark核心概念和技術原理掌握Spark與Hadoop的優勢對比掌握Spark的兩種安裝方式與集群的構建掌握Spark的核心概念Resilient Distributed Dataset.掌握Maven的工作原理以及本地Maven倉庫服務器的搭建與配置掌握Spark集群的部署模式以及shell的應用掌握Spark編程與運行 | |
| 序號 | 技術點細分 |
| 1 | Spark簡介 |
| 2 | Spark預編譯版本下載安裝與啟動 |
| 3 | Spark體驗shell操作與wc操作與RDD介紹 |
| 4 | Spark通過Maven進行源碼編譯安裝 |
| 5 | Spark搭建Maven本地倉庫服務器 |
| 6 | Spark通過本地Maven倉庫服務器進行編譯 |
| 7 | Spark官方doc的宏觀描述和優勢說明 |
| 8 | Spark獨立集群模式部署和啟動 |
| 9 | Spark Master和Worker的webui查看以及FIFO作業調度講解 |
| 10 | Spark獨立集群模式端口修改 |
| 技術大點26：征服Spark（二）Spark項目編譯運行篇視頻課程 | |
| 重點解析：了解sbt(simple build tool)掌握使用maven對Spark的項目進行編譯和運行，理解addFile的操作原理和Spark的整體概述掌握maven的pom文件的配置掌握eclipse下maven的使用與spark項目的構建以及倉庫的配置。 | |
| 序號 | 技術點細分 |
| 1 | Spark shell應用於addFile |
| 2 | Spark程序build的宏觀介紹 |
| 3 | 通過交互模式初始化Maven項目 |
| 4 | 通過參數指定方式直接初始化Maven項目 |
| 5 | 準備java源文件到自己的源碼包中 |
| 6 | 設置pom.xml文件依賴插件以及與自由倉庫目錄樹的對應關系 |
| 7 | 使用mvn package指令進行編譯並進行打包 |
| 8 | 使用java指令添加spark類庫運行Spark程序 |
| 9 | 使用maven的exec執行插件運行java程序 |
| 10 | 配置eclipse的maven插件使用本地maven倉庫服務器 |
| 11 | eclipse之下maven項目的配置編譯運行 |
| 12 | eclipse之Scala插件的卸載與安裝 |
| 13 | eclipse下構建Scala程序以及運行 |
| 14 | 通過Scalac命令手動編譯scala程序並執行 |
| 15 | 命令行下通過maven編譯運行Scala程序 |
| 16 | eclipse下通過maven+scala插件用Scala開發Spark應用 |
大三學習規劃路線圖