本部落格只記錄實現李航老師《統計學習方法》中討論的演算法，具體的演算法流程和推導，請看書中相關章節
這篇部落格用最簡單的方法實現了K近鄰模型。
之後會利用KD樹實現K-近鄰演算法。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author='icesun'

import numpy as np
from collections import Counter

#距離量度，根據p的不同，生成不同的距離零度
#p=1，曼哈頓距離
#p=2, 歐氏距離
#p為無窮大是，是各個座標距離的最大值
def distance(p, x1, x2):
    dis =
 
 np.float_power(np.sum(np.float_power(x1 - x2, p)), 1 / p)
    return dis

def KNN_classfier(test_datasets, test_labels, train_dataset, train_labels, k, distance):
    # 記錄每一個測試樣例的預測結果
    prdict = []
    for test_vec in test_datasets:
        # 記錄最近k個的距離以及label
        knn_dist_list = []
        knn_label_list =
 
 []

        for i in range(len(train_dataset)):
            label = train_labels[i]
            train_vec = train_dataset[i]
            dist = distance(train_vec, test_vec)
            # 前k個訓練資料，直接填充到knn列表中
            if i < k:
                knn_dist_list.append(dist)
                knn_label_list.
 
append(label)
            # 後面每一個數據，都要計算與測試資料之間的距離，
            #若果距離小於knn列表中距離的最大值，則替換
            else:
                # 距離最大值
                max_dis = max(knn_dist_list)
                if dist < max_dis:
                    #替換資料
                    max_index = knn_dist_list.index(max_dis)
                    knn_dist_list[max_index] = dist
                    knn_label_list[max_index] = label
        # 對標籤進行統計，出現最多的是測試樣例對應的label
        label_counts = Counter(knn_label_list)
        prdict.append(label_counts.most_common(1))
    # 計算預測準確率
    acc = np.sum(test_labels == np.array(prdict)) / len(prdict)
    return prdict, acc


#if __name__ == '__main__':
#    a = np.array([1,1,1,1,0])
#    b = np.array([1,1,1,1,1])
#    print(np.sum(a == b))