【機器學習】最近鄰演算法KNN原理、流程框圖、程式碼實現及優缺點
通過機器學習教學視訊,初識KNN演算法,對原理和演算法流程通過小應用進行Python實現,有了自己的一些理解。因此在此整理一下,既是對自己學習的階段性總結,也希望能和更多的朋友們共同交流學習相關演算法,如有不完善的地方歡迎批評指正。
1、KNN演算法原理
KNN,全稱k-NearestNeighbor,即常說的k鄰近演算法。
該演算法的核心思想:一個樣本x與樣本集中的k個最相鄰的樣本中的大多數屬於某一個類別yLabel,那麼該樣本x也屬於類別yLabel,並具有這個類別樣本的特性。簡而言之,一個樣本與資料集中的k個最相鄰樣本中的大多數的類別相同。
由其思想可以看出,KNN是通過測量不同特徵值之間的距離進行分類,而且在決策樣本類別時,只參考樣本週圍k個“鄰居”樣本的所屬類別。因此比較適合處理樣本集存在較多重疊的場景,
2、KNN流程框圖
在建立訓練集時,就要確定訓練資料及其對應的類別標籤;然後把待分類的測試資料與訓練集資料依次進行特徵比較;從訓練集中挑選出最相近的k個數據,這k個數據中投票最多的分類,即為新樣本的類別。
為了方便閱讀演算法流程,將其描述為如下流程框圖:
3、KNN程式碼實現
參考《視覺機器學習 20講》,整理KNN演算法的虛擬碼如下:
Algorithm KNN(A[n], k) { Input: A[n]為N個訓練樣本的分類特徵; k為近鄰個數; Initialize: 選擇A[1]至A[k]作為x的初始近鄰; 計算初始近鄰與測試樣本x間的歐氏距離d(x, A[i]), i=1,2,...k; 按d(x, A[i])從小到大排序; 計算最遠樣本與x間的距離D,即max{d(x, A[j]) | j=1,2...k}; for(i=k+1; i<n+1; i++) 計算A[i]與x間的距離d(x, A[i]); if (d(x, A[i]) < D ) then 用A[i]代替最遠樣本; 按照d(x, A[i])從小到大排序; 計算最遠樣本與x間的距離D,即max{d(x, A[j]) | j=1,...i}; 計算前k個樣本A[i]所屬類別的概率,i=1,2,...k; 具有最大概率的類別即為樣本x的類; end for Output: x所屬的類別。 }
參照麥子學院彭亮主講機器學習課程中,KNN的Python程式碼,實現了KNN演算法的分類功能。
import csv import random import math import operator #匯入資料,並分為訓練集和測試集 def loadDataset(filename, split, trainingSet = [], testSet = []): with open(filename, 'rt') as csvfile: lines = csv.reader(csvfile) dataset = list(lines) for x in range(len(dataset)-1): for y in range(4): dataset[x][y] = float(dataset[x][y]) if random.random() < split: trainingSet.append(dataset[x]) else: testSet.append(dataset[x]) #求尤拉距離 def euclideanDistance(instance1, instance2, length): distance = 0 for x in range(length): distance += pow((instance1[x]-instance2[x]), 2) return math.sqrt(distance) #計算最近鄰(K個數據集),testInstance是例項 def getNeighbors(trainingSet, testInstance, k): distances = [] length = len(testInstance)-1 for x in range(len(trainingSet)): #testinstance dist = euclideanDistance(testInstance, trainingSet[x], length) distances.append((trainingSet[x], dist))#distance是一個多個元組的list #distances.append(dist) distances.sort(key=operator.itemgetter(1))#按照dist排序 neighbors = [] for x in range(k): neighbors.append(distances[x][0])#要的是資料集 return neighbors #投票法找出最近鄰的結果哪種最多 def getResponse(neighbors): classVotes = {}#key--花名字 value--個數 for x in range(len(neighbors)): response = neighbors[x][-1] if response in classVotes: classVotes[response] += 1 else: classVotes[response] = 1 sortedVotes = sorted(classVotes.items(), key=operator.itemgetter(1), reverse=True) return sortedVotes[0][0] #求出精確性 def getAccuracy(testSet, predictions): correct = 0 for x in range(len(testSet)): if testSet[x][-1] == predictions[x]: correct += 1 return (correct/float(len(testSet)))*100.0 def main(): #prepare data trainingSet = [] testSet = [] split = 1/3 loadDataset(r'E:\pycharmcode\irisdata.txt', split, trainingSet, testSet) print('Train set: '+ repr(len(trainingSet))) print('Test set: ' + repr(len(testSet))) #generate predictions predictions = [] k = 3 for x in range(len(testSet)): # trainingsettrainingSet[x] neighbors = getNeighbors(trainingSet, testSet[x], k) result = getResponse(neighbors) predictions.append(result) print ('>predicted=' + repr(result) + ', actual=' + repr(testSet[x][-1])) accuracy = getAccuracy(testSet, predictions) print('Accuracy: ' + repr(accuracy) + '%')
4、KNN演算法優缺點
4.1、優點
(1)理論成熟簡單,易於理解及演算法實現;
(2) 可以用於多分類分類、迴歸等;
4.2、缺點
(1)需要計算待分類樣本與所有已知樣本的距離,計算量大;
(2)樣本容量小或樣本分佈不均衡時,容易分類錯誤,後者可通過施加距離權重進行改善;
5、參考資料
1、《視覺機器學習 20講》;