1.線性迴歸

1.1模型

1.1.1目標函式（損失函式、正則）

    a.無正則：最小二乘線性迴歸（OLS）

    b.L2正則：嶺迴歸（Ridge Regression）

    c.L1正則：Lasso

1.1.2概率解釋

    最小二乘線性迴歸等價於極大似然估計

    Recall:極大似然估計

    線性迴歸的MLE

    正則迴歸等價於貝葉斯估計

小結：目標函式

1.2優化求解

1.2.1 OLS的優化求解（解析解）

1.2.2 OLS的優化求解（梯度下降）

    梯度下降

    OLS的梯度下降

1.2.3 OLS的優化求解（隨機梯度下降，SGD）

1.2.4 嶺迴歸的優化求解

1.2.5 Lasso的優化求解——座標下降法

    座標下降法

小結：線性迴歸之優化求解

1.3模型評估與模型選擇

1.3.1 評價準則

1.3.2 Scikit learn中迴歸評價指標

1.3.3 線性迴歸中模型選擇

1.3.4 RidgeCV

1.3.5 LassoCV

小結：線性迴歸之模型選擇

1.1模型

1.1.1目標函式（損失函式、正則）

機器學習是根據訓練資料對變數之間的關係進行建模。當輸出變數（響應變數）y∈R是連續值時，我們稱之為迴歸分析，即用函式描述一個或多個預測變數與響應變數y之間的關係，並根據該模型預測新的觀測值對應的響應。

給定訓練資料

    a.無正則：最小二乘線性迴歸（OLS）

    b.L2正則：嶺迴歸（Ridge Regression）

    c.L1正則：Lasso

1.1.2概率解釋

    最小二乘線性迴歸等價於極大似然估計

    Recall:極大似然估計

    線性迴歸的MLE

    正則迴歸等價於貝葉斯估計

小結：目標函式

1.2優化求解

1.2.1 OLS的優化求解（解析解）

1.2.2 OLS的優化求解（梯度下降）

    梯度下降

    OLS的梯度下降

1.2.3 OLS的優化求解（隨機梯度下降，SGD）

1.2.4 嶺迴歸的優化求解

1.2.5 Lasso的優化求解——座標下降法

    座標下降法

小結：線性迴歸之優化求解

1.3模型評估與模型選擇

1.3.1 評價準則

1.3.2 Scikit learn中迴歸評價指標

1.3.3 線性迴歸中模型選擇

1.3.4 RidgeCV

1.3.5 LassoCV

小結：線性迴歸之模型選擇