本文主要內容來自《機器學習實戰》

示例：手寫識別系統

為了簡單起見，這裡構造的系統只能識別數字0到9。需要識別的數字要使用圖形處理軟體，處理成具有相同的色彩和大小：32*32 黑白影象。為了方便理解，這裡將影象轉換成文字格式。

1. 流程

1. 收集資料：提供文字檔案
2. 準備資料：編寫函式img2vector()，將影象格式轉換為分類器使用的向量格式
3. 分析資料：在Python命令提示符中檢查資料，確保它符合要求
4. 訓練演算法：此步驟不適用於k-近鄰演算法
5. 測試演算法：編寫函式使用提供的部分資料集作為測試樣本，測試樣本與非測試樣本的區別在於測試樣本是已經完成分類的資料，如果預測分類與實際類別不同，則標記為一個錯誤
6. 使用演算法：

2. 準備資料

為了使用上節例子的分類器，必須將影象格式化處理為一個向量。我們將把一個32x32的二進位制影象矩陣轉換為1x1024的向量，這樣就能使用前面的分類器處理數字影象資訊了。
編寫一段函式img2vector，將影象轉換為向量：該函式建立1x1024的NumPy陣列，然後開啟給定的檔案，迴圈讀出檔案的前32行，並將每行的頭32個字元值儲存在NumPy陣列中，最後返回陣列。

from os import listdir
from numpy import *
import operator

def img2vector(filename):
    returnVect = zeros((1
 
,1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j])
    return  returnVect

測試：

testVector = img2vector('testDigits/0_13.txt')
testVector

手寫數字識別系統的測試程式碼：

def classify0(inX,dataSet,labels,k)
 
:
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX,(dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances ** 0.5
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]
def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('trainingDigits')
    m = len(trainingFileList)
    trainingMat = zeros((m,1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
    testFileList = listdir('testDigits')
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest= img2vector('testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat,hwLabels,3)
        print ("the classifier came back with :%d,the real answer is :%d" %(classifierResult,classNumStr) )
        if(classifierResult != classNumStr) : errorCount = errorCount + 1.0
    print ("\nthe total number of errors is : %d" %errorCount)
    print ("\tthe total error rate is :%f" %(errorCount/float(mTest)))

handwritingClassTest()

3. 測試演算法

將資料處理成分類器可以識別的格式後，將資料輸入到分類器，檢測分類器的執行效果。

def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('trainingDigits')
    m = ln(trainingFileList)
    trainingMat = zeros((m,1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = in(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
    testFileList = listdir('testDigits')
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest= img2vector('testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat,hwLabels,3)
        print ("the classifier came back with :%d,the real answer is :%d" % (classifierResult,classNumStr)
        if(classifierResult != classNumStr): errorCount += 1.0
    print ("\nthe total number of errors is : %d" % errorCount)
    print ("\tthe total error rate is :%f" %(errorCount/float(mTest))

程式中將trainingDigits目錄中的檔案儲存在列表中，然後中以得到目錄中有多少檔案，並將其儲存在變數m中。
接著，程式碼建立一個m行1024列的訓練矩陣，該矩陣的每行資料儲存一個影象。我們可以從檔名中解析出分類數字。這要求檔案要按規則命名。
檔案中的值已經在0和1之間，所以是不需要autoNorm()函式的。
執行測試：

kNN識別手寫數字資料集，錯誤率為1.1%。改變k的值、修改函式handwriting-ClassTest隨機選取訓練樣本、改變訓練樣本的數目，都會對k-近鄰演算法的錯誤率產生影響。

這個演算法的執行效率並不高。k決策樹是對k-近鄰演算法的優化版，可以節省大量的計算開銷。

k-近鄰演算法 基於例項的學習，使用演算法時必須有接近實際資料的訓練樣本資料。k-近鄰演算法必須儲存全部資料集，如果訓練資料集很大，必須使用大量的儲存空間。此外，計算可能非常耗時。
k-近鄰演算法的另一個缺陷是無法給出任何資料的基礎結構資訊。