前言

   當我們有$N$組資料，希望能夠用一個函式來擬合這組資料的分佈情況時，首先想到的就是最小二乘法。最小二乘法是線性迴歸中最基礎也是最常用模型，它也可以用來擬合高次多項式。

什麼是最小二乘法

  那麼，什麼是最小二乘法呢？將我們手中已有的資料表示成一個集合，（為了簡化模型，暫且只考慮輸入屬性只有$x$一個的情況）$D=\left \{ (x_{1};y_{1}),(x_{2};y_{2}),\cdots ,(x_{n};y_{n}) \right \}$

xn​;yn​)}
  首先假設最終得到的線性模型為；
$y=ax+b$

  如上圖所示，綠色的線條為所求的迴歸模型，黑色點為實際樣本輸入資料，紅色線段為實際值與模型預測值之間的歐氏距離，用以下公式表示；
$e_{i}=\left \| ax_{i}+b-y_{i} \right \|$
  為了讓最終所求的模型儘量準確地表現資料分佈規律，我們需要讓$e_{i}$的和儘可能的小，所以$(a^{*},b^{*})$在$e_{i}$的和取最小值時取得；
$(a^{\ast },b^{\ast })=\underset{(a,}{<mi>a</mi><mi>r</mi><mi>g</mi><mi>m</mi><mi>i</mi><mi>n</mi>}$

b)∑i=1n∥axi+b−yi∥(a^{*},b^{*})=\underset{(a,b)}{argmin}\sum_{i=1}^{n}\left \| ax_{i}+b-y_{i} \right \|
   但是上述式子中的絕對值是不可導的，求解困難。因此採用均方誤差來代替絕對值。
$(a^{*},b^{*})=\underset{(a,b)}{argmin}\sum_{i=1}^{n} (ax_{i}+b-y_{i} )^{2}$
  這種基於均方誤差來進行模型求解的方法就叫最小二乘法，也叫最小平方法。

引數推導

  首先還是來看上面提到的最簡單的情況。令；
$E(a,b)=\sum_{i=1}^{n} (ax_{i}+b-y_{i} )^{2}$
  $E$是關於$a$與$b$的二次函式，只會有一個極值點。而很明顯，讓$E$取極大值的$(a,b)$出現在空間中無限遠處的，是不存在的。所以當$(a,b)$讓$E$取得極值時，$E$取得極小值，分別對$a$、$b$求偏導。
$\begin{aligned} \frac{\partial E}{\partial a}&amp;=2\sum_{i=1}^{n} (ax_{i}+b-y_{i} )x_{i}\\ &amp;=2(\sum_{i=1}^{n} ax_{i}^{2}+\sum_{i=1}^{n}bx_{i}-\sum_{i=1}^{n}y_{i}x_{i})\\&amp;=2(\sum_{i=1}^{n} ax_{i}^{2}+b*n\bar{x}-\sum_{i=1}^{n}y_{i}x_{i}) \end{aligned}$
$\frac{\partial E}{\partial b}=2\sum_{i=1}^{n} (ax_{i}+b-y_{i} )=2(a*n\bar{x}+nb-n\bar{y})$
  令；
$\frac{\partial E}{\partial a}=0，\frac{\partial E}{\partial b}=0$
  可得；
$a=\frac{\sum_{i=1}^{n}x_{i}y_{i}-n\bar{x}\bar{y}}{\sum_{i=1}^{n}x_{i}^{2}-n\bar{x}^{2}}$
$b=\bar{y}-a\bar{x}=\frac{\bar{y}\sum_{i=1}^{n}x_{i}^{2}-\bar{x}\sum_{i=1}^{n}x_{i}y_{i}}{\sum_{i=1}^{n}x_{i}^{2}-n\bar{x}^{2}}$
  由於，

相關推薦