文章目錄

• 線性迴歸
• 單個屬性的情況
• 多元線性迴歸
• 廣義線性模型
• 實驗資料集
• 介紹
• 相關連結
• Python實現
• 環境
• 編碼
• 最小二乘法
• 使用sklearn和pandas簡化
• 梯度下降
• 方法比較
• 測試程式碼
• 結果
• MSE分析
• 視覺化分析
• 資料歸一化處理
• 零均值單位方差歸一化
• 結果
• 完整原始碼

線性迴歸

線性模型（linear model）通過屬性的線性組合來進行預測，形如 $y=wx+b$

. 線性迴歸可以看成是單層的神經網路，包含了機器學習中模型的最基本的思想。
當定資料集 $D=\left\{\right({\vec{x}}_1$

, y 1 ) , ( x ⃗ 2 , y 2 ) , . . . , ( x ⃗ m , y m ) } ， y i ∈ R D=\{(\vec x_1,y_1),(\vec x_2,y_2),...,(\vec x_m,y_m)\}，y_i∈R ，線性迴歸（linear regression）試圖得到一個線性函式來預測實值輸出，如下所示：
$f(\vec x)=\vec w^T\vec x+b$
其中 $\vec w=(w_1,w_2,...w_d), \vec x=(\vec x_1,\vec x_2,...,\vec x_m)$, $\vec x$是一個矩陣， $|\vec x_i|=m$實際上就是預測物件的屬性個數。 當 $\vec w$和 $b$確定之後，線性模型就確定了。

單個屬性的情況

一種最簡單的場景就是需要預測的物件僅有一個屬性來描述，上述資料集退化為： $D=\{(x_i,y_i)\}^m_{i=1}$. 此時線性迴歸試圖學習到一個函式： $f(x_i)=wx_i+b, 使得 f(x_i)≈y_i$ 問題的關鍵在於如何確定 $w$和 $b$的值！

在迴歸任務中，通常使用均方誤差（mean squared error）來衡量 $f(x)$和 $y$的差別，即我們通常所說的損失函式。我們需要得到當 $\sum_{i=1}^m{(f(x_i)-y_i)^2}$最小時， $w$和 $b$的值，我們記為： $(w^*,b^*)=arg_{w,b}min\sum_{i=1}^m{(f(x_i)-y_i)^2}$
很容易可以發現，均方誤差在幾何上對應的是歐式距離，具有非常良好的幾何意義。

觀察上述問題，可以很容易地聯想到“利用直線擬合平面上若干點”的問題，由此，可以採用“最小二乘法（least square method）”，其試圖得到一條直線使得所有的點到直線的歐式距離之和最小，這裡稱之為線性迴歸模型的最小二乘引數估計。

將 $w$和 $b$看成未知數，記 $E_{w,b}=\sum_{i=1}^m{(f(x_i)-y_i)^2}=\sum_{i=1}^m{(y_i-wx_i-b)^2}$

相關推薦