一.基本形式 $h_θ(x)=θ_0+θ_1x_1+θ_2x_2+....+θ_nx_n=θ^Tx$

二.損失函式

最常用的效能度量是均方誤差(Mean Square Error) $MSE=\frac{1}{m}\sum_{i=1}^{m}(h_θ(x^{(i)})-y^{(i)})^2$

為了求解引數方便起見，設損失函式為J(θ)，令$J\left(\theta \right)=\frac{1}{2}\sum _{}^{}$

目標就是通過最小化該損失函式$min_θJ(θ)$，從而求得引數θ，進而得到線性迴歸模型。

三.推導過程

最小二乘法(Least Square Method) 這裡的損失函式之所以使用平方形式，是因為使用了"最小二乘法"的思想。這裡的“二乘”指的是用平方來度量觀測點與估計點的距離(遠近)，“最小”指的是引數值要保證各個觀測點與估計點的距離的平方和達到最小。

最小二乘法以估計值與觀測值的平方和作為損失函式，在誤差服從正態分佈的前提下，與極大似然估計的思想在本質上是相同。

接下來從概率的角度來討論下為什麼損失函式要採用上面的形式

設真實值與預測值之間的誤差為$\epsilon^{(i)}=h_θ(x^{(i)})-y^{(i)}$

我們把輸入y看成是隨機變數。此時， $y^{(i)}=θ^T x^{(i)}+ϵ^{(i)}。$

ϵ可以代表各種誤差，比如測量誤差，或者因為其他未知的特徵x引起的誤差。假設這些誤差都是獨立同分布的，那麼由大數定律可知${ϵ}^{}$

將誤差代入以上公式，可以得$y^{(i)}|x^{(i)};θ∼N(θ^Tx^{(i)}，σ^2)$ $p(y^{(i)}|x^{(i)};θ)=\frac{1}{\sqrt{2π}σ}exp(−\frac{(y^{(i)}−θ^Tx^{(i)})^2}{2σ^2})。$

注意，這裡$p(y^{(i)}|x^{(i)};θ)$不等同於$p(y^{(i)}|x^{(i)}，θ)$，前者θ預設為是一個固定的值，一個本身就存在的最佳引數矩陣；而後者認為θ是一個變數（統計學中Frequentist和Bayesian 的差別）。

此時，我們已知了y的概率分佈，因為ϵ是獨立同分布的，所以每個樣本的輸出y也是獨立同分布的。那麼就可以用極大似然估計（MLE）來估計θ。似然函式為 $L(θ)=\prod_{i=1}^mp(y^{(i)}|x^{(i)};θ)=\prod_{i=1}^m\frac{1}{\sqrt{2π}}exp(−\frac{(y^{(i)}−θ^Tx^{(i)})^2}{2σ^2})$

ln似然函式得 $ℓ(θ)=logL(θ)=mlog\frac{1}{\sqrt{2π}}−\frac{1}{σ^2}⋅\frac{1}{2}\sum_{i=1}^m(y^{(i)}−θ^Tx^{(i)})^2。$

可以看出，MLE的最終結果就是要最小化 $\frac{1}{2}\sum_{i=1}^m(y^{(i)}-h_θ(x^{(i)}))^2，$

這恰好就是前面的損失函式。

四.求解引數

梯度下降(Gradient Descent)

$θ:=θ-\alpha\cdot\nabla_θJ(θ)$ $\frac{\partial{J(θ)}}{\partial{θ_j}}=\sum_{i=1}^m(h_θ(x^{(i})-y^{(i)})x^{(i)}_j$