1. 線性迴歸

線性迴歸根據最小二乘法直接給出權值向量的解析解（closed-form solution）：

線性迴歸的一個問題就是有可能出現欠擬合現象，因為它求的是具有最小均方誤差（LSE，Least Square Error）的無偏估計。顯然，如果模型欠擬合將不能取得最好的預測結果，所以有些方法允許在估計中引入一些偏差，從而降低預測的均方誤差。

2. 正則化線性迴歸

• 比如首先取 λ=0.2，來觀察效果；

3. LWLR

其中的一個方法就是區域性加權線性迴歸（Locally Weighted Linear Regression，LWLR），在該演算法中，我們給待測點附近的每一個點賦予一定的權重。該演算法解出迴歸係數 w

LWLR 使用核來對待測點（xn）附近的點賦予更高的權重。核的型別可以自由選擇，最常用的核就是高斯核，高斯核對應的權重如下：

這就構建了一個只含對角元素的權值矩陣 W

def lwlr(X, y, x0, k=1.):
    W = np.diag(np.linalg.norm(X-x0, axis=1)/(-2*k**2))
    xTx = X.T.dot(W).dot(X)
    if np.linalg.det(xTx) == 0.:
        return
    ws = np.linalg.inv(xTx).dot(X.T.dot(W).dot(y))
    return
 
 x0.dot(ws)