線性迴歸linear regression
區域性加權線性迴歸local weighted linear regression

線性迴歸

用普通最小二乘法Ordinary Least Square即通過最小化誤差的平方和尋找資料的最佳函式匹配
$\sum_{i=1}^{m}(y-x_i^Tw)^2$
用矩陣表示:
$(y-Xw)^T(y-Xw)$
對這個式子求導，令其等於0，解出$w$即為最優解。
結論為
$\hat{w}=(X^TX)^{-1}X^Ty,\hat{w}表示w的一個最佳估計$

$X:n\times p$
$y :n\times 1$
$w:p\times 1$
推導過程：
$\begin{aligned} (y-Xw)^T(y-Xw) &=(y^T-w^TX^T)(y-Xw) \\ &=(y^Ty-y^TXw-w^TX^Ty+w^TX^TXw) \\ \end{aligned}$

分別求導：
$\frac {\partial( y^Ty)}{\partial w}=0$
$\begin{aligned} \frac {\partial( y^TXw)}{\partial w} &=(y^TX)^T\\ &=X^Ty，分母佈局 \end{aligned}$
$\begin{array}{cc}{\displaystyle \frac{\mathrm{\partial }\left(w^T{X}^{T}y\right)}{\mathrm{\partial }w}}& {\displaystyle =\frac{\mathrm{\partial }(w^T{X}^{T}y{)}^T}{\mathrm{\partial }w}\mathrm{，}\mathrm{標}\mathrm{量}\mathrm{轉}\mathrm{置}\mathrm{不}\mathrm{變}}\\ {\displaystyle =\frac{\mathrm{\partial }\left(y^{T}Xw\right)}{\mathrm{\partial }w}}\\ {\displaystyle =(y^{}}\end{array}$

區域性加權線性迴歸

區域性加權線性迴歸的$W$是對角矩陣n * n，用高斯核，對應的
$w(i,i)=exp(\frac{|x^{(i)}-x|} {-2k^2} )$
$J(\theta)=(y-Xw)^TW(y-Xw)$
推導過程一樣，
$\hat w=(X^TWX)^{-1}X^TWy$
看了一下午矩陣微分的證明和定義，公式寫起來太麻煩了，發現有一個很好的整理和講義。
矩陣微分法