一、最小二乘法

1.一元線性擬合的最小二乘法

先選取最為簡單的一元線性函式擬合助於我們理解最小二乘法的原理。

要讓一條直接最好的擬合紅色的資料點，那麼我們希望每個點到直線的殘差都最小。
設擬合直線為 $y_i=b+$

a x i y_{i}= b+ax_{i} ,那這些資料的所有誤差和為： $S={\sum }_{}^{}$

i = 1 n ( y − b −

a x i ) 2 S=\sum_{i=1}^{n}(y-b-ax_{i})^2
因此，為了能得到最小的誤差所對應的 $b,a$的值，需要分別對 $S$關於 $b,a$求導，並且令導數為0：

${\frac{\partial S}{\partial b}}= -2\sum_{i=1}^{n}(y_{i}-b-ax_{i})=0$

${\frac{\partial S}{\partial a}}= -2\sum_{i=1}^{n}(y_{i}-b-ax_{i})x_{i}=0$
解得：
$a= \frac{ n\sum x_{i}y_{i}-\sum x_{i}\sum y_{i}}{n\sum x_{i}^2-(\sum x_{i})^2}$

$b=\overline{y}-a\overline{x}$

具體推導過程：

${\frac{\partial S}{\partial b}}= -2\sum_{i=1}^{n}(y_{i}-b-ax_{i})=0$

${\frac{\partial S}{\partial a}}= -2\sum_{i=1}^{n}(y_{i}-b-ax_{i})x_{i}=0$

令 $\frac{\partial D}{\partial a}=0$, $\frac{\partial D}{\partial a}$,求解a和b,令 $n\bar{x}=\sum_{i=1}^nx_i,n\bar{y}=\sum_{i=1}^ny_i$
因此得：
$n\bar{y}-na-bn\bar{x}=0$

$\sum_{i=1}^nx_iy_i-a\sum_{i=1}^nx_i-b\sum_{i=1}^nx_i^2=0$

相關推薦