參考書籍：《統計學習方法》，cs229，其他

1、線性迴歸

1.1、線性迴歸表示

線性迴歸屬於監督學習問題，輸入X與輸出Y成線性關係，只要我們得到了這個具體的關係，那麼對於待預測的資料X我們便可以知道Y的值。現在就來求這個線性關係

先定義好變量表示。記輸入變量表示為 $X$，輸出變量表示為 $Y$

$y=\theta_0+\theta_1 x_1+...+\theta_n x_n$，

我們記 $x_0=1$ 那麼就可以表示為 $h_\theta(x)=\theta^Tx$

1.2、線性迴歸學習

線性迴歸的學習也就是求解引數 $\theta$，為了使預測結果儘量準確，我們需要使得對訓練集擬合的較好，定義如下的損失函式，直觀上也很容易理解：

$J(\theta) = \frac{1}{2} \sum\limits_{i=1}^{n}(h_\theta(x_i)-y_i)^2$

顯然 $J$越小越好，所以我們需要求 $\min J(\theta)$，此時對應的 $\theta$正是我們所需要的，自然也就求出來了模型。 這裡使用梯度下降法來求解（假如你現在在山頂記住 $j$，你要下山打算每次跨 $\alpha$步，如何下的最快？答案是沿著梯度方向走也就是切線方向,每跨一次位置成了 $j-\alpha*梯度$，繼續用 $j$表示那麼就是 $\theta_j :=j-\alpha*梯度$），用公式表示如下。

$\theta_j := \theta_j - \alpha \frac{\partial J(\theta)}{\partial \theta_j}$

接下來進行簡單的求導即可：

$\frac{\partial J(\theta)}{\partial \theta_j} \\ = \sum\limits_{i=1}^{n}(h_\theta(x_i)-y_i) \frac{\partial h_\theta(x_i)}{\partial \theta_j} \\=\sum\limits_{i=1}^{n}(h_\theta(x_i)-y_i)x_i^j$

=> ${\theta }_j:={\theta }_j-\alpha {\sum }_{i=1}^n\left(h_{\theta }\right(x_{}$