1. 程式人生 > >Cloudera Hadoop 4 實戰課程(Hadoop 2.0、叢集介面化管理、電商線上查詢+日誌離線分析

Cloudera Hadoop 4 實戰課程(Hadoop 2.0、叢集介面化管理、電商線上查詢+日誌離線分析

親愛的網友,我這裡有套課程想和大家分享,如果對這個課程有興趣的,可以加我的QQ2059055336和我聯絡。

hadoop簡介及工資水平:

     目前Hadoop的應用越來越廣泛,很多企業都開始採用,Hadoop人才也很稀缺和搶手,待遇和遠比Java、.Net開發好。本系列課講解目前主流的Hadoop版本Cloudera Hadoop 4(這裡採用cdh4.1),該版本相比0.20.x,效能和穩定性上提高很多。cdh4環境搭建相比舊版本也複雜很多,但可以用cloudera-manager對叢集進行管理和配置。CDH4預設集成了常用的所有元件如Hive、Sqoop、HBase、Hue、Pig、Flume、Mahout、Zookeeper等,從而形成一功能強大的分散式平臺。

本課會分享一些本人所在團隊自研的適用於企業級開發和應用的框架和工具,這些有效提高了開發效率,大大降低了維護成本,這些正是我們多年實戰的結晶。

課程大綱及內容簡介:

每節課約35分鐘,共不下40講

第一章(9講)

·cloudera manager 介紹和安裝·chd4.1 介紹·chd4.1 安裝·chd4.1 叢集環境搭建、相關元件安裝·cloudera manager管理叢集·cloudera manager下叢集高階管理

第二章(約10講)

·Hive原理·Hive元資料管理·Hive資料表和資料儲存·Hive的Java擴充套件開發·Hive UDF和UDAF開發·Hive JDBC連線

·Hive常見場景,實戰練習·Hive -f 傳參框架開發 由於hive自帶命令hive -f無法傳引數,導致hive跨檔案的使用基本癱瘓, 無法大量推廣。該框架可以任意傳參,讓hive企業級應用開發更高效和簡潔。

第三章(約5講)

·Sqoop原理·Sqoop使用詳解·用Sqoop實現HDFS/Hive與關係資料庫的資料互動·用Sqoop實現HBase與關係資料庫的資料互動

第四章(約8講)

·Hbase原理·Hbase系統架構·Hbase儲存機制·Hbase基本使用·Hbase表設計思路和方案·常見應用場景·和Hive互動·Java訪問、WEB開發

第五章 專案實戰(約8講)

電商業日誌流量分析專案,網際網路企業對海量日誌的分析是Hadoop應用的一個重要用途,也是對網站流量、客戶行為分析的重要途徑。該專案整合Hive、Hbase、Sqoop等常用元件,涉及從後臺處理到前臺呈現的每一個技術環節。

包括: ·業務需求介紹 ·資料建模 ·後臺演算法設計 ·後臺業務處理 ·前臺WEB展示等 ...

課程詳細大綱列表:

第一講:Cloudera Manager介紹與安裝第二講:Cloudera Manager詳解第三講:CDH4.1介紹與環境搭建一第四講:CDH4.1環境搭建二第五講:CDH4.1叢集搭建一第六講:CDH4.1叢集搭建二第七講:CM下CDH4.1叢集高階管理一第八講:CM下CDH4.1叢集高階管理二第九講:小結及Hadoop工作原理第十講:Hive工作原理和基本使用第十一講:Hive元資料管理和語法詳解第十二講:Hive表和儲存結構第十三講:運維案例分享_單機儲存均衡和壞block處理第十四講:Hive QL 一第十五講:Hive QL 二第十六講:UDF和UDAF開發第十七講:UDAF開發和JDBC訪問第十八講:Hive優化規則總結第十九講:Hive資料壓縮技術第二十講:Hive-f封裝支援傳參一第二十一講:Hive-f封裝支援傳參二第二十二講:Sqoop使用一第二十三講:Sqoop使用二第二十四講:Sqoop作業排程第二十五講:HBase體系結構第二十六講:HBase 表設計案例第二十七講:HBase資料載入(Sqoop和Java)第二十八講:HBase儲存機制第二十九講:Java操作HBase一第三十講:Java操作HBase二第三十一講:Java操作HBase三第三十二講:hbase與Hive介面及專案介紹第三十三講:訂單線上實時查詢_Schema設計和HBase資料載入第三十四講:訂單線上實時查詢_DAO層實現第三十五講:訂單線上實時查詢_DAO層和前臺實現第三十六講:電商日誌流量分析_專案介紹第三十七講:電商日誌流量分析_業務實現一第三十八講:電商日誌流量分析_業務實現二第三十九講:電商日誌流量分析_業務實現三第四十講:電商日誌流量分析_業務實現四