1. 程式人生 > >京東集團-大資料培訓(Oracle(中國)講師)

京東集團-大資料培訓(Oracle(中國)講師)

hadoop.jpg

一、課程目標

瞭解Hadoop的歷史及目前發展的現狀、以及Hadoop的技術特點,從而把握分散式計算框架及未來發展方向,在大資料時代能為企業的技術選型及架構設計提供決策參考。

全面掌握Hadoop的架構原理和使用場景,並通過貫穿課程的專案進行實戰鍛鍊,從而熟練使用Hadoop進行MapReduce程式開發。課程還涵蓋了整個Hadoop生態體系結構中的元件,讓學員全面瞭解並學習Hadoop的生態系統。

深入理解Hadoop技術架構,對Hadoop運作機制有清晰全面的認識,可以獨立規劃及部署生產環境的Hadoop叢集,掌握Hadoop基本運維思路和方法,對Hadoop叢集進行管理和優化。

二、適用人群

① 已經掌握Java開發語言,並想進一步學習大資料的學員。

② 大資料專案的開發工程師和運維工程師

③ 大資料分析平臺架構師

④ 大資料探勘處理演算法應用工程師

⑤ 大資料專案的規劃諮詢管理人員

⑥ 大資料專案的售前和售後技術支援服務人員

⑦ 有一定的計算機系統基礎知識(如Linux作業系統知識)

三、培訓特色和時長

定製授課+ 案例分析講解 + 實戰操作

四、授課講師

   趙強老師,清華大學軟體工程專業畢業。曾就職於Oracle(中國)有限公司高階技術顧問,在Oracle公司服務已超過11年。業界知名的Oracle資料庫專家和大資料專家,精通Oracle資料庫、大資料、Weblogic中介軟體和Java技術。

五、課程大綱

一、Hadoop的起源與背景知識

(一)什麼是大資料   

(二)OLTP與OLAP

(三)資料倉庫

(四)Google的基本思想:核心重點)

二、搭建實驗環境

三、Apache Hadoop的體系結構核心重點)

(一)分散式儲存:HDFS

(二)YARN: 分散式計算(MapReduce)

(三)HBase的體系結構

四、Hadoop 的安裝與配置

(一)Hadoop安裝部署的預備條件

(二)Hadoop的目錄結構

(三)Hadoop安裝部署的三種模式

(四)驗證Hadoop環境

(五)配置SSH免密碼登入

五、Hadoop應用案例分析

(一)網際網路應用的架構

(二)日誌分析

(三)Hadoop在淘寶的應用

六、分散式檔案系統:HDFS

(一)HDFS的命令列操作

(二)HDFS的Java API

(三)HDFS的Web Console

(四)HDFS的回收站

(五)HDFS的快照

(六)HDFS的使用者許可權管理

(七)HDFS的配額管理

(八)HDFS的安全模式

(九)HDFS的底層原理

七、分散式計算模型:MapReduce

(一)MapReduce在Yarn平臺上 執行過程

(二)第一個MapReduce程式:WordCount

(三)WordCount的資料流過程

(四)使用MapReduce處理資料

(五)Shuffle的過程

(六)使用MRUnit進行單元測試過程

(七)MapReduce作業任務的管理

(八)MapReduce案例集錦

(十)搭建Hadoop的Eclipse開發環境

八、資料倉庫:Hive

(一)什麼是Hive

(二)Hive的體系結構

(三)Hive的管理

(四)Hive的資料型別

(五)Hive的資料模型

(六)Hive資料的匯入

(七)Hive的查詢

(八)Hive的客戶端操作:JDBC

(十)Hive的自定義函式

九、資料分析引擎:Pig

(一)什麼是Pig?

(二)Pig的體系結構

(三)Pig的安裝和工作模式

(四)Pig的內建函式

(五)使用Pig Latin語句分析資料

(六)Pig的自定義函式

十、NoSQL資料庫:HBase

(一)什麼是HBase?

(二)HBase的體系結構

(三)HBase的表結構和資料模型

(四)HBase的安裝和部署

(五)-ROOT-和.META.

(六)HBase Shell

(七)HBase的Java程式設計介面

(八)HBase上的過濾器

(九)HBase上的MapReduce

(十)HBase的HA

十一、資料交換引擎:Sqoop

(一)什麼是Sqoop?

(二)Sqoop是如何工作?

(三)使用Sqoop

十二、資料採集引擎:Flume

(一)什麼是Flume?

(二)Flume的體系結構

(三)安裝和配置Flume

(四)使用Flume採集日誌資料

十三、大資料UI系統:HUE

(一)什麼是HUE?

(二)HUE所需要的rpm包

(三)HUE與Hadoop整合

(四)HUE與HBase整合

(五)HUE與Hive整合

(六)HUE的文件

十四分散式協調服務:ZooKeeper

(一)什麼是ZooKeeper?

(二)ZooKeeper的體系結構

(三)Zookeeper能幫我們做什麼?

(四)安裝和配置Zookeeper

(五)操作Zookeeper

(六)ZooKeeper的分散式鎖:秒殺的實現

十五、Hadoop的叢集和HA

(一)HDFS的聯盟

(二)利用ZooKeeper實現Hadoop的HA

Copyright © 2004-2017 JD.COM 京東版權所有 Power by 企業資訊化部