第2章 k-近鄰演算法

KNN 概述

k-近鄰（kNN, k-NearestNeighbor）演算法主要是用來進行分類的.

KNN 場景

電影可以按照題材分類，那麼如何區分 動作片 和 愛情片 呢？

1. 動作片：打鬥次數更多
2. 愛情片：親吻次數更多

基於電影中的親吻、打鬥出現的次數，使用 k-近鄰演算法構造程式，就可以自動劃分電影的題材型別。

現在根據上面我們得到的樣本集中所有電影與未知電影的距離，按照距離遞增排序，可以找到 k 個距離最近的電影。
假定 k=3，則三個最靠近的電影依次是， He's Not Really into Dudes 、 Beautiful Woman 和 California Man。
knn 演算法按照距離最近的三部電影的型別，決定未知電影的型別，而這三部電影全是愛情片，因此我們判定未知電影是愛情片。
 

KNN 原理

KNN 工作原理

1. 假設有一個帶有標籤的樣本資料集（訓練樣本集），其中包含每條資料與所屬分類的對應關係。
2. 輸入沒有標籤的新資料後，將新資料的每個特徵與樣本集中資料對應的特徵進行比較。
   1. 計算新資料與樣本資料集中每條資料的距離。
   2. 對求得的所有距離進行排序（從小到大，越小表示越相似）。
   3. 取前 k （k 一般小於等於 20 ）個樣本資料對應的分類標籤。
3. 求 k 個數據中出現次數最多的分類標籤作為新資料的分類。

KNN 一般流程

收集資料：任何方法
準備資料：距離計算所需要的數值，最好是結構化的資料格式
分析資料：任何方法
訓練演算法：此步驟不適用於 k-近鄰演算法
測試演算法：計算錯誤率
使用演算法：輸入樣本資料和結構化的輸出結果，然後執行 k-近鄰演算法判斷輸入資料分類屬於哪個分類，最後對計算出的分類執行後續處理
 

KNN 演算法特點

優點：精度高、對異常值不敏感、無資料輸入假定
缺點：計算複雜度高、空間複雜度高
適用資料範圍：數值型和標稱型

KNN 專案案例

專案案例1: 優化約會網站的配對效果

專案概述

海倫使用約會網站尋找約會物件。經過一段時間之後，她發現曾交往過三種類型的人:

• 不喜歡的人
• 魅力一般的人
• 極具魅力的人

她希望：

1. 工作日與魅力一般的人約會
2. 週末與極具魅力的人約會
3. 不喜歡的人則直接排除掉

現在她收集到了一些約會網站未曾記錄的資料資訊，這更有助於匹配物件的歸類。

開發流程

收集資料：提供文字檔案
準備資料：使用 Python 解析文字檔案
分析資料：使用 Matplotlib 畫二維散點圖
訓練演算法：此步驟不適用於 k-近鄰演算法
測試演算法：使用海倫提供的部分資料作為測試樣本。
        測試樣本和非測試樣本的區別在於：
            測試樣本是已經完成分類的資料，如果預測分類與實際類別不同，則標記為一個錯誤。
使用演算法：產生簡單的命令列程式，然後海倫可以輸入一些特徵資料以判斷對方是否為自己喜歡的型別。
 

收集資料：提供文字檔案

海倫把這些約會物件的資料存放在文字檔案 datingTestSet2.txt 中，總共有 1000 行。海倫約會的物件主要包含以下 3 種特徵：

• 每年獲得的飛行常客里程數
• 玩視訊遊戲所耗時間百分比
• 每週消費的冰淇淋公升數

文字檔案資料格式如下：

40920	8.326976	0.953952	3
14488	7.153469	1.673904	2
26052	1.441871	0.805124	1
75136	13.147394	0.428964	1
38344	1.669788	0.134296	1

準備資料：使用 Python 解析文字檔案

將文字記錄轉換為 NumPy 的解析程式

def file2matrix(filename):
   """
   Desc:
       匯入訓練資料
   parameters:
       filename: 資料檔案路徑
   return: 
       資料矩陣 returnMat 和對應的類別 classLabelVector
   """
   fr = open(filename)
   # 獲得檔案中的資料行的行數
   numberOfLines = len(fr.readlines())
   # 生成對應的空矩陣
   # 例如：zeros(2，3)就是生成一個 2*3的矩陣，各個位置上全是 0 
   returnMat = zeros((numberOfLines, 3))  # prepare matrix to return
   classLabelVector = []  # prepare labels return
   fr = open(filename)
   index = 0
   for line in fr.readlines():
       # str.strip([chars]) --返回移除字串頭尾指定的字元生成的新字串
       line = line.strip()
       # 以 '\t' 切割字串
       listFromLine = line.split('\t')
       # 每列的屬性資料
       returnMat[index, :] = listFromLine[0:3]
       # 每列的類別資料，就是 label 標籤資料
       classLabelVector.append(int(listFromLine[-1]))
       index += 1
   # 返回資料矩陣returnMat和對應的類別classLabelVector
   return returnMat, classLabelVector

分析資料：使用 Matplotlib 畫二維散點圖

import matplotlib
import matplotlib.pyplot as plt
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:, 1], datingDataMat[:, 2], 15.0*array(datingLabels), 15.0*array(datingLabels))
plt.show()

下圖中採用矩陣的第一和第三列屬性得到很好的展示效果，清晰地標識了三個不同的樣本分類區域，具有不同愛好的人其類別區域也不同。

樣本3和樣本4的距離： $$\sqrt{(0-67)^2 + (20000-32000)^2 + (1.1-0.1)^2 }$$

歸一化特徵值，消除特徵之間量級不同導致的影響

def autoNorm(dataSet):
    """
    Desc:
        歸一化特徵值，消除特徵之間量級不同導致的影響
    parameter:
        dataSet: 資料集
    return:
        歸一化後的資料集 normDataSet. ranges和minVals即最小值與範圍，並沒有用到

    歸一化公式：
        Y = (X-Xmin)/(Xmax-Xmin)
        其中的 min 和 max 分別是資料集中的最小特徵值和最大特徵值。該函式可以自動將數字特徵值轉化為0到1的區間。
    """
    # 計算每種屬性的最大值、最小值、範圍
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    # 極差
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0]
    # 生成與最小值之差組成的矩陣
    normDataSet = dataSet - tile(minVals, (m, 1))
    # 將最小值之差除以範圍組成矩陣
    normDataSet = normDataSet / tile(ranges, (m, 1))  # element wise divide
    return normDataSet, ranges, minVals

訓練演算法：此步驟不適用於 k-近鄰演算法

因為測試資料每一次都要與全量的訓練資料進行比較，所以這個過程是沒有必要的。

測試演算法：使用海倫提供的部分資料作為測試樣本。如果預測分類與實際類別不同，則標記為一個錯誤。

kNN 分類器針對約會網站的測試程式碼

def datingClassTest():
    """
    Desc:
        對約會網站的測試方法
    parameters:
        none
    return:
        錯誤數
    """
    # 設定測試資料的的一個比例（訓練資料集比例=1-hoRatio）
    hoRatio = 0.1  # 測試範圍,一部分測試一部分作為樣本
    # 從檔案中載入資料
    datingDataMat, datingLabels = file2matrix('input/2.KNN/datingTestSet2.txt')  # load data setfrom file
    # 歸一化資料
    normMat, ranges, minVals = autoNorm(datingDataMat)
    # m 表示資料的行數，即矩陣的第一維
    m = normMat.shape[0]
    # 設定測試的樣本數量， numTestVecs:m表示訓練樣本的數量
    numTestVecs = int(m * hoRatio)
    print 'numTestVecs=', numTestVecs
    errorCount = 0.0
    for i in range(numTestVecs):
        # 對資料測試
        classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
        print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i])
        if (classifierResult != datingLabels[i]): errorCount += 1.0
    print "the total error rate is: %f" % (errorCount / float(numTestVecs))
    print errorCount

使用演算法：產生簡單的命令列程式，然後海倫可以輸入一些特徵資料以判斷對方是否為自己喜歡的型別。

約會網站預測函式

def clasdifyPerson():
    resultList = ['not at all', 'in small doses', 'in large doses']
    percentTats = float(raw_input("percentage of time spent playing video games ?"))
    ffMiles = float(raw_input("frequent filer miles earned per year?"))
    iceCream = float(raw_input("liters of ice cream consumed per year?"))
    datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    inArr = array([ffMils, percentTats, iceCream])
    classifierResult = classify0((inArr-minVals)/ranges,normMat,datingLabels, 3)
    print "You will probably like this person: ", resultList[classifierResult - 1]

實際執行效果如下:

>>> kNN.classifyPerson()
percentage of time spent playing video games?10
frequent flier miles earned per year?10000
liters of ice cream consumed per year?0.5
You will probably like this person: in small doses

專案案例2: 手寫數字識別系統

專案概述

構造一個能識別數字 0 到 9 的基於 KNN 分類器的手寫數字識別系統。

需要識別的數字是儲存在文字檔案中的具有相同的色彩和大小：寬高是 32 畫素 * 32 畫素的黑白影象。

開發流程

收集資料：提供文字檔案。
準備資料：編寫函式 img2vector(), 將影象格式轉換為分類器使用的向量格式
分析資料：在 Python 命令提示符中檢查資料，確保它符合要求
訓練演算法：此步驟不適用於 KNN
測試演算法：編寫函式使用提供的部分資料集作為測試樣本，測試樣本與非測試樣本的
         區別在於測試樣本是已經完成分類的資料，如果預測分類與實際類別不同，
         則標記為一個錯誤
使用演算法：本例沒有完成此步驟，若你感興趣可以構建完整的應用程式，從影象中提取
         數字，並完成數字識別，美國的郵件分揀系統就是一個實際執行的類似系統

收集資料: 提供文字檔案

目錄 trainingDigits 中包含了大約 2000 個例子，每個例子內容如下圖所示，每個數字大約有 200 個樣本；目錄 testDigits 中包含了大約 900 個測試資料。

準備資料: 編寫函式 img2vector(), 將影象文字資料轉換為分類器使用的向量

將影象文字資料轉換為向量

def img2vector(filename):
    returnVect = zeros((1,1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readLine()
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j])
    return returnVect

分析資料：在 Python 命令提示符中檢查資料，確保它符合要求

在 Python 命令列中輸入下列命令測試 img2vector 函式，然後與文字編輯器開啟的檔案進行比較:

>>> testVector = kNN.img2vector('testDigits/0_13.txt')
>>> testVector[0,0:31]
array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])
>>> testVector[0,31:63]
array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1., 1., 1., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])

訓練演算法：此步驟不適用於 KNN

因為測試資料每一次都要與全量的訓練資料進行比較，所以這個過程是沒有必要的。

測試演算法：編寫函式使用提供的部分資料集作為測試樣本，如果預測分類與實際類別不同，則標記為一個錯誤

def handwritingClassTest():
    # 1. 匯入訓練資料
    hwLabels = []
    trainingFileList = listdir('input/2.KNN/trainingDigits')  # load the training set
    m = len(trainingFileList)
    trainingMat = zeros((m, 1024))
    # hwLabels儲存0～9對應的index位置， trainingMat存放的每個位置對應的圖片向量
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]  # take off .txt
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        # 將 32*32的矩陣->1*1024的矩陣
        trainingMat[i, :] = img2vector('input/2.KNN/trainingDigits/%s' % fileNameStr)

    # 2. 匯入測試資料
    testFileList = listdir('input/2.KNN/testDigits')  # iterate through the test set
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]  # take off .txt
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('input/2.KNN/testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr)
        if (classifierResult != classNumStr): errorCount += 1.0
    print "\nthe total number of errors is: %d" % errorCount
    print "\nthe total error rate is: %f" % (errorCount / float(mTest))

使用演算法：本例沒有完成此步驟，若你感興趣可以構建完整的應用程式，從影象中提取數字，並完成數字識別，美國的郵件分揀系統就是一個實際執行的類似系統