課程目錄： 第一天： 01.傳統廣告回顧 02.幾個問題思考 03.廣告的表現形式 04.名詞解釋 05.DSP原理圖 06.DSP業務流程 07.DMP專案背景 08.DMP業務流程----重要 09.日誌格式介紹 10.需求一日誌轉parquet檔案 第二天： 01.工程包的建立 02.日誌轉parquet檔案實現方式一----StructType 03.日誌轉換成parquet檔案格式實現方式二---自定義類 04.統計各省市的資料量分佈情況----結果輸出成json 05.統計各省市的資料量分佈情況----結果輸出到mysql中 06.統計各省市的資料量分佈情況----使用Spark運算元的方式實現 07.地域分佈需求 第三天： 00.Ambari介紹及專案打包上傳 00.叢集執行Job觀察01 00.叢集執行Job觀察02 01.地域報表實現---Spark SQL 02.地域報表實現---Spark Core實現01 03.地域報表實現---Spark Core實現02 03.地域報表實現---讀取原始日誌檔案 04.媒體報表需求 05.媒體報表實現---broadcast 06.媒體報表實現---改造---字典存入到redis 07.媒體報表實現---改造---將redis作為字典庫 08.程式碼託管到git 第四天： 01.git建立分支--合併分支--切換分支--刪除分支 02.上下文標籤需求 第五天： 01.標籤實現過程--step1 02.標籤實現過程--step2 03.標籤實現過程--step3 04.標籤實現過程--step4 05.商圈標籤實現思路 第六天： 01.經緯度知識庫的建立-StepOne 02.經緯度知識庫的建立-StepTwo 03.新增商圈標籤 04.商圈標籤bug解決 05.graph共同好友案例 06.graph解決使用者當天標籤合併 第七天： 01.案例聚合使用者標籤 02.案例聚合使用者標籤--程式碼實現 03.案例聚合使用者標籤--程式碼實現--測試 04.上下文標籤資料合併 05.專案總結 第八天： 01.中國移動實時專案背景 02.專案整體業務架構圖 03.flume節點及資料量分佈 04.需求 05.日誌欄位說明 06.ScalikeJDBC介紹 第九天： 01.建立kafka -- topic 02.將資料對接到kafka 03.工程搭建--思路分析 04.程式碼實現-01---kafka偏移量有效性問題 05.程式碼實現-02---校驗更新偏移量 06.程式碼實現--03--測試接收資料 07.程式碼實現--04---業務概況指標實現 08.程式碼實現--05---分割槽資料處理 09.程式碼實現--06---省市資料分佈---每小時資料分佈---每分鐘資料分佈 10.程式碼實現--07---偏移量有效性檢驗觀察 11.Echarts展示 12.面試時的專案表述 13.面試問題補充下載地址：