此筆記適合有一定python基礎，瞭解numpy科學計算庫的人，有一定線性代數基礎的人。對KNN演算法原理了解的更容易看懂，筆者水平受限，寫以下筆記主要目的是分享自己的學習過程以及便於以後複習檢視。

KNN 近鄰演算法實現原理：

實現步驟：

  ①：處理資料

          ②：資料向量化

          ③：計算歐幾里得距離

          ④：根據距離進行分類

訓練資料和測試資料：（存放在txt檔案裡面）

下載地址：連結：http://pan.baidu.com/s/1jHO0PHs 密碼：5iba

核心演算法（演算法思路）：

  KNN演算法主要實現將傳入的測試資料與訓練資料做對比，其中訓練資料已知型別，測試資料並不知道。

                          KNN演算法函式是：knn(k,testdata,traindata,labels):

          引數解釋：1、k代表訓練樣本的個數。

                              2、testdata是測試資料（具體格式後面解釋）。

                              3、traindata是訓練資料（具體格式後面解釋）。

                              4、labels代表訓練資料對應的類別。

 演算法如下：

from numpy import *
import operator
from os import listdir
def knn(k,testdata,traindata,labels):
    #testdata:[特徵1，特徵2，特徵3]
    #traindata:[[特徵1，特徵2，特徵3],[特徵1，特徵2，特徵3],[特徵1，特徵2，特徵3]]
    traindatasize=traindata.shape[0]
    dif=tile(testdata,(traindatasize,1))-traindata
    sqdif=dif**2
    #sumsqdif已經成為一維的了[a,b,c,d]
    sumsqdif=sqdif.sum(axis=1)
    distance=sumsqdif**0.5
    sortdistance=distance.argsort()
    #sortdistance指的是測試資料與各訓練資料的距離由近到遠排序之後的結果列表
    count={}#{"類別":"次數"}
    for i in range(0,k):
        vote=labels[sortdistance[i]]#當前距離的類別是誰（由近至遠）
        count[vote]=count.get(vote,0)+1
    #print(count)
    sortcount=sorted(count.items(),key=operator.itemgetter(1),reverse=True)
    return sortcount[0][0]
 

 核心思路：

1、編寫函式將訓練檔案裡面的資料按行讀取一次存放到一個列表arr中

#資料載入，將資料轉換成knn演算法支援的向量。
def datatoarray(fname):  #fname是檔名稱
    arr=[]#新建一個列表
    fh=open(fname) #開啟fname對應的這個檔案
    for i in range(0,32):
        thisline=fh.readline()  #按行讀取一次存放到列表中
        for j in range(0,32):
            arr.append(int(thisline[j]))  #將按行讀取的結果存放到列表中
    return arr#返回列表
 

2、編寫函式得到每一個訓練樣本的類別

#取檔名字首（類別）
def seplabel(fname):
    filestr=fname.split(".")[0]  #split函式是分割函式，在這裡是以‘.’分割，並且去前面部分
    label=int(filestr.split("_")[0])  #split函式是分割函式，在這裡是以‘_’分割，並且去前面部分，就會得到這個資料的類別，

                                      #主要是因為檔名的格式是形如：8_55，8程式碼這個檔案的正確識別結果應該是8              

3、針對批量訓練檔案，全部轉換成KNN演算法支援的格式，並且將每一個訓練樣本對應的類別存放在將要傳給KNN演算法的列表引數labels中，並且每一個列表元素和格式化後的訓練資料樣本對應

def traindata():
    labels=[]  #存放類別
    trainfile=listdir("D:/trainandtest/traindata") #把資料夾開啟並且把資料夾中所
#    有的檔名存放在列表中，為了最後放在datatoarray函式的arr裡（那裡面也是列表型別）
    num=len(trainfile)
    #建立一個列為1024,行為num的陣列模型
    trainarr=zeros((num,1024))
#      {
#       [
#        [      ]
#        [      ]
#        [      ]
#        [      ]   num為行數，1024是每一行存放的特徵數目
#               ]}
    for i in range(0,num):
        thisname=trainfile[i]
        thislabel=seplabel(thisname)
        labels.append(thislabel)
        trainarr[i,:]=datatoarray("D:/trainandtest/traindata/"+thisname)
    return trainarr,labels

trainarr,labels=traindata()  #得到訓練樣本的類別，及轉換成KNN演算法支援的向量格式
thistestfile="5_66.txt"       #當前要測試的檔案
testarr=datatoarray("D:/trainandtest/testdata/"+thistestfile)   #把測試檔案轉換成KNN支援的向量格式
rst=knn(3,testarr,trainarr,labels)   #呼叫KNN演算法實現識別，並且把值返回給rst
print "this writing's classify is",rst

#Wrting shibie system.
# encoding=utf-8
#numpy是處理二維矩陣的科學計算庫
from numpy import *
import operator
from os import listdir
def knn(k,testdata,traindata,labels):
    #testdata:[特徵1，特徵2，特徵3]
    #traindata:[[特徵1，特徵2，特徵3],[特徵1，特徵2，特徵3],[特徵1，特徵2，特徵3]]
    traindatasize=traindata.shape[0]
    dif=tile(testdata,(traindatasize,1))-traindata
    sqdif=dif**2
    #sumsqdif已經成為一維的了[a,b,c,d]
    sumsqdif=sqdif.sum(axis=1)
    distance=sumsqdif**0.5
    sortdistance=distance.argsort()
    #sortdistance指的是測試資料與各訓練資料的距離由近到遠排序之後的結果列表
    count={}#{"類別":"次數"}
    for i in range(0,k):
        vote=labels[sortdistance[i]]#當前距離的類別是誰（由近至遠）
        count[vote]=count.get(vote,0)+1
    #print(count)
    sortcount=sorted(count.items(),key=operator.itemgetter(1),reverse=True)
    return sortcount[0][0]
#資料載入，將資料轉換成knn演算法支援的向量。
def datatoarray(fname):
    arr=[]
    fh=open(fname)
    for i in range(0,32):
        thisline=fh.readline()
        for j in range(0,32):
            arr.append(int(thisline[j]))
    return arr
#a=datatoarray("D:/Python35/traindata/0_3.txt")
#取檔名字首（類別）
def seplabel(fname):
    filestr=fname.split(".")[0]
    label=int(filestr.split("_")[0])
    return label
#建立訓練資料
#labels:[類別,類別，類別,類別]
#tainarr：[[特徵1，特徵2，特徵3],[特徵1，特徵2，特徵3],[特徵1，特徵2，特徵3]]
def traindata():
    labels=[]  #存放類別
    trainfile=listdir("D:/trainandtest/traindata") #把資料夾開啟並且把資料夾中所
#    有的檔名存放在列表中，為了最後放在datatoarray函式的arr裡（那裡面也是列表型別）
    num=len(trainfile)
    #列為1024,行為num的陣列
    trainarr=zeros((num,1024))
#      {
#       [
#        [      ]
#        [      ]
#        [      ]
#        [      ]   num為行數，1024是每一行存放的特徵數目
#               ]}
    for i in range(0,num):
        thisname=trainfile[i]
        thislabel=seplabel(thisname)
        labels.append(thislabel)
        trainarr[i,:]=datatoarray("D:/trainandtest/traindata/"+thisname)
    return trainarr,labels   
        
trainarr,labels=traindata()
thistestfile="5_66.txt"
testarr=datatoarray("D:/trainandtest/testdata/"+thistestfile)
rst=knn(3,testarr,trainarr,labels)
print "this writing's classify is",rst
#小作業
#實現將testdata裡面的資料批量識別（提示：通過迴圈）
#2：實現計算識別準確率SA