k近鄰是一種常用的分類與迴歸演算法，其原理比較簡單

基本思想

給定一個訓練資料集，其中的例項的類別已定，對於新的例項，根據其K個距離最短的訓練例項的類別出現的頻率，對新的例項進行預測。

距離計算

歐式距離

曼哈頓距離

K的取值

K值的選擇對k近鄰法的結果產生重大影響

K值較小，近似誤差會減小，估計誤差會增大，意味著整體模型變得複雜，產生過擬合。

K值較大，近似誤差會增大，估計誤差會減少，模型簡單，容易是預測發生錯誤。

實際應用中，K值一般取一個比較小的值，在採用交叉驗證來逐步調整K值，最終選擇適合該樣本的最優的K值。

KNN演算法實現
演算法基本步驟：

1）計算待分類點與已知類別的點之間的距離

2）按照距離遞增次序排序

3）選取與待分類點距離最小的k個點

4）確定前k個點所在類別的出現次數

5）返回前k個點出現次數最高的類別作為待分類點的預測分類

Code

#kNN.py

from numpy import  *
import operator

def createDataSet():

    group = array([[1.0, 1.1, 1.2], [1.2, 1.0, 1.1], [1.1, 1.2, 1.0], [0.1, 0.5, 0.7], [0.2, 0,1, 0.3], [2.1, 2.0, 2.1]])
    labels  = ["AAA"
 
, "AAA", "BBB", "BBB", "CCC"]

    return group,labels


def classfity(sampleX, dataSet, labels, k):

    dataSetSize = len(dataSet)

    diffMat = tile(sampleX, (dataSetSize, 1))  - dataSet

    sqDiffMat = diffMat ** 2

    sqDistances = sqDiffMat.sum(axis =1)

    distances = sqDistances ** 0.5

    sortedDistIndicies = distances.argsorts()

    classCount = {}

    for
 
 i in range(k):

        voteIlabel = labels[sortedDistIndicies[i]]

        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1

    sortedClassCount = sorted(classCount.items(), key = operator.itemgetter(1), reverse = True)

    return sortedClassCount[0][0]