1. 程式人生 > >2018年最新大數據24期實戰項目 9天 附課件源碼

2018年最新大數據24期實戰項目 9天 附課件源碼

媒體 truct 展示 HP 面試問題 for php 重要 業務

課程目錄:

第一天:

01.傳統廣告回顧
02.幾個問題思考
03.廣告的表現形式
04.名詞解釋
05.DSP原理圖
06.DSP業務流程
07.DMP項目背景
08.DMP業務流程----重要
09.日誌格式介紹
10.需求一日誌轉parquet文件

第二天:

01.工程包的創建
02.日誌轉parquet文件實現方式一----StructType
03.日誌轉換成parquet文件格式實現方式二---自定義類
04.統計各省市的數據量分布情況----結果輸出成json
05.統計各省市的數據量分布情況----結果輸出到mysql中
06.統計各省市的數據量分布情況----使用Spark算子的方式實現
07.地域分布需求

第三天:

00.Ambari介紹及項目打包上傳
00.集群運行Job觀察01
00.集群運行Job觀察02
01.地域報表實現---Spark SQL
02.地域報表實現---Spark Core實現01
03.地域報表實現---Spark Core實現02
03.地域報表實現---讀取原始日誌文件
04.媒體報表需求
05.媒體報表實現---broadcast
06.媒體報表實現---改造---字典存入到redis
07.媒體報表實現---改造---將redis作為字典庫
08.代碼托管到git

第四天:

01.git創建分支--合並分支--切換分支--刪除分支
02.上下文標簽需求

第五天:

01.標簽實現過程--step1
02.標簽實現過程--step2
03.標簽實現過程--step3
04.標簽實現過程--step4
05.商圈標簽實現思路

第六天:

01.經緯度知識庫的建立-StepOne
02.經緯度知識庫的建立-StepTwo
03.添加商圈標簽
04.商圈標簽bug解決
05.graph共同好友案例
06.graph解決用戶當天標簽合並

第七天:

01.案例聚合用戶標簽
02.案例聚合用戶標簽--代碼實現
03.案例聚合用戶標簽--代碼實現--測試
04.上下文標簽數據合並
05.項目總結

第八天:

01.中國移動實時項目背景
02.項目整體業務架構圖
03.flume節點及數據量分布
04.需求
05.日誌字段說明
06.ScalikeJDBC介紹

第九天:

01.創建kafka -- topic
02.將數據對接到kafka
03.工程搭建--思路分析
04.代碼實現-01---kafka偏移量有效性問題
05.代碼實現-02---校驗更新偏移量
06.代碼實現--03--測試接收數據
07.代碼實現--04---業務概況指標實現
08.代碼實現--05---分區數據處理
09.代碼實現--06---省市數據分布---每小時數據分布---每分鐘數據分布
10.代碼實現--07---偏移量有效性檢驗觀察
11.Echarts展示
12.面試時的項目表述
13.面試問題補充


下載地址:

百度網盤下載

2018年最新大數據24期實戰項目 9天 附課件源碼