1. 程式人生 > >【備忘】基於Hadoop,Spark大資料技術的推薦系統演算法實戰教程

【備忘】基於Hadoop,Spark大資料技術的推薦系統演算法實戰教程

課程簡介:
               
2017年最新大資料推薦系統演算法實戰視訊教程,共18.1G容量。附講義、程式碼與練習資料,配套齊全,高清不加密。
               
課程介紹:        
        
網際網路行業是大資料應用最前沿的陣地,目前主流的大資料技術,包括 hadoop,spark等,全部來自於一線網際網路公司。從應用角度講,大資料在網際網路領域主要有三類應用:搜尋引擎(比如百度,谷歌等),廣告系統(比如百度鳳巢,阿里媽媽等)和推薦系統(比如阿里巴巴天貓推薦,優酷視訊推薦等)。
隨著電子商務規模的不斷擴大,顧客需要花費大量的時間才能找到自己想買的商品。這種瀏覽大量無關的資訊和產品過程無疑會使淹沒在資訊過載問題中的消費者不斷流失。為了解決這些問題,個性化推薦系統應運而生。個性化推薦系統在提高使用者體驗的同時,可以大大增加使用者購買量,據統計,亞馬遜的 30%收入來自於他的推薦引擎。近幾年,國內網際網路公司也非常重視推薦系統建設,包括阿里巴巴,京東,騰訊等。


課程研發環境:        
        
Hadoop 2.6.5; Spark 1.6.2; Scala 2.10.4; Hbase 1.2.6; kafka 2.10.0
sqoop 1.4.6; redis 3.0.7; mahout 0.12.2; Flume 1.7.0

適合人群:
               

本課程針對具有一定的Hadoop、Spark基礎。想要進一步深入學習這些技術在企業專案實戰應用的學員準備的。   


學習收穫:

1.熟悉推薦系統基本原理和設計思路
2.瞭解通過大資料技術來實現推薦系統
3.掌握使用者畫像的實現流程
4.熟悉常用的推薦演算法
5.掌握通過Mahout和Spark來實現推薦系統模型
6.能夠設計完整的推薦系統   

學習建議:
               
1.最好看完視訊之後,拋開視訊,獨立自己去把上課中的示例寫一遍,看自己是否理解,如果不正確,可以回過頭看再看下視訊,如果反覆,達到真正理解和熟練掌握的目的。

2.對於專案實戰部分,一定要自己親自動手做一遍,不要滿足聽完就OK了

3. 建議一般聽視訊,一般拿個紙和筆,做一些記錄和筆記,這是一種非常好的學習習慣。

4. 一定不要過於依賴視訊,要學會看API和使用百度,學會思考,學會舉一反三。

課程目錄:

一、推薦系統與大資料的關係

101-大資料應用案例
102-大資料技術框架
103-推薦系統的技術棧
104-課程的基礎要求和安排

二、認識推薦系統

201-什麼是推薦系統
202-推薦系統的應用案例
203-推薦系統的評測方法
204-推薦系統的評測指標

三、推薦系統設計

301-推薦系統的設計
302-使用者介面的重要性

四、大資料lambda架構

401-什麼是lambda架構
402-Lambda架構之批處理層
403-Lambda架構之實時處理層
404-Lambda架構之服務層
405-大資料平臺快速部署-實踐
406-配置Mysql和Redis-實踐
407-安裝Kafka-實踐
408-安裝測試Spark-實踐

五、使用者畫像系統

501-什麼是使用者畫像
502-使用者畫像的數學描述
503-使用者畫像系統流程
504-使用者畫像系統架構
505-使用者標籤使用案例
506-演算法和模型的評價
507-SparkML程式碼實現
508-程式碼例項1之模型訓練及引數設定-實踐
509-程式碼例項1之引數設定及模型測試-實踐
510-程式碼例項2之使用管道
511-程式碼例項2之使用管道-實踐
512-程式碼例項3之模型調優
513-程式碼示例3之模型調優-實踐
514-程式碼示例4之模型調優-實踐
515-使用者畫像系統應用

六、推薦模型構建流程

601_推薦模型構建流程
6.02_推薦演算法概述
6.03_基於協同過濾的推薦演算法
6.04_相似度的計算
6.05_基於模型的方法
6.06_協同過濾的實現
6.07_推薦系統冷啟動問題
6.08_推薦案例實踐準備
6.09_推薦案例IDE環境配置-實踐

七、Mahout概述與實踐

711-Mahout推薦例項6之電影推薦2-實踐
712-Mahout推薦例項6之電影推薦3-實踐
713-Mahout推薦例項7之圖書推薦1-實踐
714-Mahout推薦例項7之圖書推薦2-實踐
715-Mahout推薦例項7之圖書推薦3-實踐
716-Mahout推薦實戰-實踐

八、Spark推薦演算法實戰

801-Mahout推薦實戰補充-實踐
802-Spark MLlib概述
803-MLlib推薦演算法介紹
804-MLlib推薦演算法實戰
805-MLlib推薦例項之定義解析函式-實踐
806_MLlib推薦例項之探索DataFrame-實踐
807-MLlib推薦例項之ALS模型推薦-實踐
808-MLlib推薦例項之模型評估-實踐
809-推薦實戰之開發環境準備-實踐
810-推薦實戰之實現使用者評分函式-實踐
811-推薦實戰之實現計算RMSE函式-實踐
812-推薦實戰之引數設定及資料載入-實踐
813-推薦實戰之使用者調查及資料拆分-實踐
814-推薦實戰之模型訓練及評估-實踐
815-推薦實戰之個性化推薦-實踐
816-推薦實戰之測試部署-實踐

九、推薦系統與Lambda架構

901-推薦系統與Lambda架構
902_推薦系統資料收集背景
903-FlumeNG資料收集系統
904-Web日誌資料採集Flume部署配置-實踐
905-Web日誌資料採集Flume執行測試-實踐
906_Sqoop資料收集工具
907-Sqoop收集賬戶資料-實踐
908-HDFS資料儲存系統
909-上傳知識庫文件到HDFS
910-HBase資料庫儲存系統
911-載入並訪問Hbase的評分資料-實踐
912-推薦系統綜合實戰
913-推薦系統離線層實現-實踐

914-推薦系統服務層實現-實踐