1. K-近鄰演算法原理

K最近鄰(kNN，k-NearestNeighbor)分類演算法，見名思意：找到最近的k個鄰居（樣本），在前k個樣本中選擇頻率最高的類別作為預測類別，什麼？怎麼那麼拗口，沒圖說個JB，下面舉個例子，圖解一下大家就會顯而易見了，如下圖：

我們的目的是要預測某個學生在數學課上的成績。。。
先來說明幾個基本概念：圖中每個點代表一個樣本（在這裡是指一個學生），橫縱座標代表了特徵（到課率，作業質量），不同的形狀代表了類別（即：紅色代表A（優秀），綠色代表D（不及格））。我們現在看（10，20）這個點，它就代表著：在數學課上，某個學生到課率是10%，交作業質量是20分，最終導致了他期末考試得了D等級（不佳）。同理，這6個點也就代表了6個往屆學生的平時狀態和最終成績，稱之為訓練樣本。。。。

現在要來實現我們的預測目的了，想象一下現在一學期快過完了，張三同學馬上要考試了，他想知道自己能考的怎麼樣，他在數學老師那裡查到了自己的到課率85%，作業質量是90，那麼怎麼實現預測呢？張三可以看做是（85,90）這個點–也被稱之為測試樣本，首先，我們計算張三到其他6位同學（訓練樣本）的距離，點到點的距離相信我們初中就學了吧（一般用的歐氏距離）。再選取前K個最近的距離，例如我們選擇k=3，那麼我們就找出距離最近的三個樣本分別屬於哪個類別，此例中，自然三個都是A等，所以可預測出張三的數學期末成績可能是A等（優秀）。倘若李四現在也想進行預測，據他較近的3箇中兩個D，一個A，那麼李四的數學期末成績被預測為D。這也就是最開始所說的：在前k個樣本中選擇頻率最高的類別作為預測類別。。。

總結其計算步驟如下：

1）算距離：給定測試物件，計算它與訓練集中的每個物件的距離
2）找鄰居：圈定距離最近的k個訓練物件，作為測試物件的近鄰
3）做分類：根據這k個近鄰歸屬的主要類別，來對測試物件分類

好了，經過上訴過程，你是否對KNN演算法基本思想有了一定了解。也許你會問我，我大學不去上課，不交作業，照樣考A，這預測根本不準確嘛，O(∩_∩)O哈哈~，首先說明一下這個例子舉的確實不太恰當，因為我們的特徵（到課率和作業質量）選取的不當，在很多分類預測演算法中，決定其分類預測上限的往往是好的特徵的選取，好的特徵也就是對其最終結果的影響比較大的。。。原理就說到這吧。。。

2. K-近鄰的優缺點

KNN演算法的優點：

1）簡單、有效。
2）重新訓練的代價較低（類別體系的變化和訓練集的變化，在Web環境和電子商務應用中是很常見的）。
3）計算時間和空間線性於訓練集的規模（在一些場合不算太大）。
4）由於KNN方法主要靠周圍有限的鄰近的樣本，而不是靠判別類域的方法來確定所屬類別的，因此對於類域的交叉或重疊較多的待分樣本集來說，KNN方法較其他方法更為適合。
5）該演算法比較適用於樣本容量比較大的類域的自動分類，而那些樣本容量較小的類域採用這種演算法比較容易產生誤分。

KNN演算法缺點：

1）KNN演算法是懶散學習方法（lazy learning,基本上不學習），一些積極學習的演算法要快很多。
2）類別評分不是規格化的（不像概率評分）。
3）輸出的可解釋性不強，例如決策樹的可解釋性較強。
4）該演算法在分類時有個主要的不足是，當樣本不平衡時，如一個類的樣本容量很大，而其他類樣本容量很小時，有可能導致當輸入一個新樣本時，該樣本的K個鄰居中大容量類的樣本佔多數。該演算法只計算“最近的”鄰居樣本，某一類的樣本數量很大，那麼或者這類樣本並不接近目標樣本，或者這類樣本很靠近目標樣本。無論怎樣，數量並不能影響執行結果。可以採用權值的方法（和該樣本距離小的鄰居權值大）來改進。
5）計算量較大。目前常用的解決方法是事先對已知樣本點進行剪輯，事先去除對分類作用不大的樣本。