加權kNN

　　上篇文章中提到為每個點的距離增加一個權重，使得距離近的點可以得到更大的權重，在此描述如何加權。

反函式

　　該方法最簡單的形式是返回距離的倒數，比如距離d，權重1/d。有時候，完全一樣或非常接近的商品權重會很大甚至無窮大。基於這樣的原因，在距離求倒數時，在距離上加一個常量：

　　weight = 1 / (distance + const)

　　這種方法的潛在問題是，它為近鄰分配很大的權重，稍遠一點的會衰減的很快。雖然這種情況是我們希望的，但有時候也會使演算法對噪聲資料變得更加敏感。

高斯函式

　　高斯函式比較複雜，但克服了前述函式的缺點，其形式：

　　其中a,b,c∈R

　　高斯函式的圖形在形狀上像一個倒懸著的鐘。a是曲線的高度，b是曲線中心線在x軸的偏移，c是半峰寬度（函式峰值一半處相距的寬度）。

半峰寬度

def gaussian(dist, a=1, b=0, c=0.3):
    return a * math.e ** (-(dist - b) ** 2 / (2 * c ** 2))

　　上面的高斯函式在距離為0的時候權重為1，隨著距離增大，權重減少，但不會變為0。下圖是高斯函式和其它幾個函式的區別，其它函式在距離增大到一定程度時，權重都跌至0或0以下。

計算過程

　　加權kNN首先獲得經過排序的距離值，再取距離最近的k個元素。

　　1.在處理離散型資料時，將這k個數據用權重區別對待，預測結果與第n個數據的label相同的概率：

　　2.在處理數值型資料時，並不是對這k個數據簡單的求平均，而是加權平均：通過將每一項的距離值乘以對應權重，讓後將結果累加。求出總和後，在對其除以所有權重之和。

　　D_i代表近鄰i與待預測值x的距離，W_i代表其權重，f(x)是預測的數值型結果。每預測一個新樣本的所屬類別時，都會對整體樣本進行遍歷，可以看出kNN的效率實際上是十分低下的。

  作者：我是8位的

  出處：http://www.cnblogs.com/bigmonkey

  本文以學習、研究和分享為主，如需轉載，請聯絡本人，標明作者和出處，非商業用途！