線性迴歸

• 0. 資料集和目標
• 1. 模型
• 2. 策略
• 3. 演算法(模型求解)
• 3.1 正規方程法
• 3.2 梯度下降法
• 4. 廣義線性模型

0. 資料集和目標

訓練集假設m個樣本，每個樣本n個特徵/屬性，每個樣本包含一個標記y。
表示為：
$D$

模型的目標為：對於一個新的樣本，給定特徵 $(X^{(k)}_1, X^{(k)}_2, ... , X^{(k)}_n)$，可以給出它對應的 $y_k$（在迴歸模型中， $y_k$是一個連續值）。

1. 模型

針對每個樣本：
$f(x) = w_1x_1+ w_2x_2+ ...+ w_nx_n +b$其中， $w_i,b$為模型引數， $x_i$為每個樣本的特徵值。

線性模型試圖學得一個通過特徵的線性組合來進行預測的函式

為了方面操作，簡化為矩陣形式：
$f(X) = X \theta$其中
$X=\begin{bmatrix} X^{(1)}_1& X^{(1)}_2& ...& X^{(1)}_n& 1& \\ X^{(2)}_1& X^{(2)}_2& ...& X^{(2)}_n& 1& \\ ...& ...& ...& ...& ...& \\ X^{(m)}_1& X^{(m)}_2& ...& X^{(m)}_n& 1& \\ \end{bmatrix}_{維度m*(n+1)} , \, \theta=\begin{bmatrix} w_1 \\ w_2 \\ ... \\ w_n \\ b \end{bmatrix}_{維度(n+1)*1}$