考慮從x∈R中預測y的問題。下面最左邊的圖顯示了將擬合到資料集的結果。我們看到資料並不是直線上的，所以擬合不是很好。

取代原來的方法，如果我們加上一個額外的特徵 $x^2$，並用 $y={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2$ 來擬合數據，你會發現效果稍微好了那麼一點（看中間這幅圖片）。似乎可以天真地認為，我們新增的特徵越多越好。然而，新增的特徵太多也是很危險的：最右邊的影象是使用一個五次多項式 $y={\sum }_{j=0}^5{\theta }_j{x}^j$ 來擬合數據的結果。我們看到，即使擬合曲線完美地穿過資料，我們也無法確定這就是一個相當好的預測，能夠針對不同生活地區 $\left(x\right)$ 來預測房價 $\left(y\right)$ 。在還沒有正式地定義這些術語之前，我們可以說最左側的影象展示的是一種 欠擬合（underfitting）

 的例項 —— 很明顯看出模型未能捕獲到資料的結構 —— 最右側的影象展示的是一種 過擬合（overfitting） 的例項。（在這節課的後面部分，當我們談到學習理論的時候，我們將把這些概念形式化，並更仔細地去定義一個假設是好的還是壞的。）

正如上面所看到的，特徵的選取方式能夠決定學習演算法表現效能的好壞。（當我們談到模型選擇時，我們也會見到一些演算法能夠自動選擇一些好的特徵。）在這一小節，讓我們簡要地談一談關於區域性加權線性迴歸（LWR）演算法的內容，假設我們有足夠數量的訓練集，使得對於特徵的選擇不是那麼重要。這一部分將會很短，因為你將要在你的作業中去探索關於LWR演算法的一些屬性。

在原始版本的線性迴歸演算法中，要對一個查詢點 $x$

x 進行預測，比如要評估 $h\left(x\right)$ ，要經過下面的步驟：

1. 擬合 $\theta$ 來最小化 ${\sum }_i(y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}{)}^2$
2. 輸出${\theta }^{T}x$

相比之下，區域性加權線性迴歸演算法做的是：

1. 擬合 $\theta$ 來最小化 ${\sum }_i{w}^{\left(i\right)}(y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}{)}^2$
2. 輸出${\theta }^{T}x$

此處的 $w^{\left(i\right)}$ 是非負的 權重（weights）值。直觀看來，如果對於某個特定的 $i$ ，它的 $w^{\left(i\right)}$ 很大，那麼在選擇 $\theta$的時候，我們將會盡可能地使 $(y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}{)}^2$ 更小。如果$w^{\left(i\right)}$ 很小，那麼在擬合的過程中 $($

y(i)−θTx(i))2(y(i)−θTx(i))2 誤差項就能夠大大地忽略。

對於權值的選取可以使用下面這個比較標準的公式：

$$w^{\left(i\right)}=\exp (-\frac{(x^{\left(i\right)}-x{)}^2}{2{\tau }^2})$$

（如果 $x$ 是向量值，上面的式子需要寫成廣義形式，即 $w^{\left(i\right)}=\exp (-(x^{\left(i\right)}-x{)}^T(x^{\left(i\right)}-x)/2{\tau }^2)$，並根據情況選擇 $\tau$ 或者 $\sum$。)

注意，權重取決於特定的點 $x$， 而我們又嘗試去預測 $x$。此外，如果 $\mid x^{\left(i\right)}-x\mid$ 很小，那麼 $w^{\left(i\right)}$ 將接近 1；如果 $\mid x^{\left(i\right)}-x\mid$ 很大，那麼 $w^{\left(i\right)}$ 將非常小。其直觀意義就是越是靠近預測點的樣本點，它們對預測點的影響就應該越大，越是遠離預測點的樣本點，它們對預測點的影響就越小，也就是說區域性加權線性迴歸模型只關注於預測點附近的點（這就是區域性的含義），而不考慮其他遠離預測點的樣本點。（注意，權值公式看上去類似於高斯分佈的密度，但 $w^{\left(i\right)}$ 和高斯分佈沒有任何關係，尤其注意 $w^{\left(i\right)}$ 不是隨機變數、正態分佈或者其它。）引數 $\tau$ 控制了訓練樣本的權值根據樣本點 $x^{\left(i\right)}$ 到查詢點 $x$ 的距離下降的有多快；引數 $\tau$ 被成為 頻寬（bandwidth） 引數。

參考最小二乘法，推導一下計算過程：

$J\left(\theta \right)$對 $\theta$ 求導與上面步驟類似，得到結果為：

令導數為零，整理可得：

其中，$W$ 是 $m\times m$ 維的對角矩陣，對角線依次存放 $w^{\left(i\right)}$ .

區域性加權線性迴歸是我們接觸的第一個 非引數（non-parametric） 演算法。之前學習的（不帶權）線性迴歸演算法是有 引數（parametric） 演算法，因為它有固定的有限數量的，能夠很好擬合數據的引數（

相關推薦