掌握Spark機器學習庫 大資料開發技能更進一步
掌握Spark機器學習庫 大資料開發技能更進一步
-
第1章 初識機器學習
在本章中將帶領大家概要了解什麼是機器學習、機器學習在當前有哪些典型應用、機器學習的核心思想、常用的框架有哪些，該如何進行選型等相關問題。
- 1-1 導學
- 1-2 機器學習概述
- 1-3 機器學習核心思想
- 1-4 機器學習的框架與選型..
-
第2章 初識MLlib
本章中，將介紹Spark的機器學習庫，對比Spark當前兩種機器學習庫（MLLib/ML）的區別，同時介紹Spark機器學習庫的應用場景以及行業應用優勢。
- 2-1 MLlib概述
- 2-2 MLlib的資料結構
- 2-3 MLlib與ml
- 2-4 MLlib的應用場景
-
第3章 實戰環境搭建
本章中，將介紹如何進行實戰環境搭建。包括如何完成Spark環境安裝配置、如何通過Spark Shell進行程式設計，並通過 Wordcount 入門程式，完成部署和測試。
- 3-1 Spark環境安裝
- 3-2 Spark配置若干要點
- 3-3 學習Spark shell
- 3-4 實戰Wordcount
-
第4章 資料視覺化
本章中，將對資料視覺化進行介紹，告訴大傢什麼是資料視覺化，我們通過資料視覺化能對大資料系統起到怎樣的作用，並結合 Echars 介紹瞭如何實現常見的資料視覺化圖表（折線圖、柱狀圖、散點圖）。
- 4-1 資料視覺化的作用及常用方法
- 4-2 初識Echarts
- 4-3 通過Echarts實現圖表化資料展示
-
第5章 Spark的矩陣與向量
本章中，將講解矩陣與向量的一些基本運算，並介紹Spark的矩陣與向量的操作，幫助資料基礎薄弱的同學補齊短板。
- 5-1 矩陣與向量介紹
- 5-2 Spark中實踐向量的使用
- 5-3 Spark中實踐矩陣的使用
-
第6章 Spark基礎統計模組
本章中，將概要介紹Spark的基礎統計模組、簡單的統計學知識、相關係數以及假設檢驗的知識，拓展大家的技術視野。
- 6-1 基礎統計模組及常用統計學知識介紹
- 6-2 實戰統計彙總
- 6-3 學習相關係數
- 6-4 學習假設檢驗
-
第7章 Spark實現迴歸演算法
本章中，將講解幾種常見的迴歸演算法，並以預測房價模型為例，教大家如何使用迴歸演算法來實現簡單的預測。
- 7-1 迴歸分析概述
- 7-2 線性迴歸演算法概述
- 7-3 線性迴歸演算法原理
- 7-4 最小二乘法
- 7-5 隨機梯度下降
- 7-6 實戰Spark預測房價---專案展示及程式碼概覽
- 7-7 實戰Spark預測房價---資料載入及轉換
- 7-8 實戰Spark預測房價--訓練與預測
- 7-9 邏輯迴歸演算法及原理概述
- 7-10 正則化原理
- 7-11 實戰Spark邏輯迴歸
- 7-12 保序迴歸演算法概述
- 7-13 保序迴歸演算法原理
- 7-14 實戰一個保序迴歸資料分析
-
第8章 Spark實現分類演算法
本章中，將幾種常見的分類演算法，並結合鳶尾花資料集為例，講解分類演算法在Spark上的實踐。同時，比較各種分類演算法的區別，使大家能夠合理選擇應該使用的演算法。
- 8-1 樸素貝葉斯演算法及原理概述
- 8-2 實戰樸素貝葉斯的分類
- 8-3 支援向量機概述
- 8-4 實戰基於SVM的分類
- 8-5 決策樹演算法及原理概述
- 8-6 實戰基於決策樹的分類--案例1
- 8-7 實戰基於決策樹的分類--案例2
- 8-8 本章小結
- 8-9 關於資料歸一化的介紹
-
第9章 Spark實現聚類演算法
本章中，將介紹聚類演算法，並通過比較聚類演算法與分類演算法的區別，幫助大家瞭解聚類演算法的內在含義。此處，仍然使用鳶尾花資料集應用聚類演算法進行分析，便於大家對比發現聚類演算法與分類演算法的區別與聯絡，以便於後期靈活運用。...
- 9-1 Kmeans演算法概述
- 9-2 Kmeans演算法原理
- 9-3 Kmeans演算法實戰
- 9-4 LDA演算法概述
- 9-5 LDA演算法原理
- 9-6 LDA演算法實踐
- 9-7 本章小結
-
第10章 Spark實現降維
本章中，將通過講解PCA演算法的原理，使大家明白降維演算法的大致原理，以及能夠實現怎麼樣的功能。結合應用降維演算法在分類演算法使用之前進行預處理的實踐，幫助大家體會演算法的作用。
- 10-1 PCA演算法及原理概述
- 10-2 實戰PCA演算法實現降維
- 10-3 本章小結
-
第11章 Spark實踐文字情感分類
本章中，將結合前述知識進行綜合實戰，以達到所學即所用。文字情感分類這個專案會將分類演算法、文字特徵提取演算法等進行關聯，使大家能夠對Spark的具體應用有一個整體的感知與瞭解。
- 11-1 專案總體概況
- 11-2 資料集概述
- 11-3 資料預處理
- 11-4 文字特徵提取
- 11-5 訓練分類模型
- 11-6 本章小結
-
第12章 Spark實踐推薦系統
本章中，將結合前述知識進行綜合實戰，以達到所學即所用。在推薦系統專案中，講解了推薦系統基本原理以及實現推薦系統的架構思路，有其他相關研發經驗基礎的同學可以結合以往的經驗，實現自己的推薦系統。
- 12-1 推薦系統簡介
- 12-2 推薦系統原理
- 12-3 推薦系統實戰(上)
- 12-4 推薦系統實戰(下)
- 12-5 本章小結
- 12-6 總結與建議
下載地址：