一、馬氏距離

我們熟悉的歐氏距離雖然很有用，但也有明顯的缺點。它將樣品的不同屬性（即各指標或各變數）之間的差別等同看待，這一點有時不能滿足實際要求。例如，在教育研究中，經常遇到對人的分析和判別，個體的不同屬性對於區分個體有著不同的重要性。因此，有時需要採用不同的距離函式。
　　如果用dij表示第i個樣品和第j個樣品之間的距離，那麼對一切i，j和k，dij應該滿足如下四個條件：
    ①當且僅當i=j時，d_ij=0
②d_ij＞0
③d_ij＝d_ji（對稱性）
④d_ij≤d_ik＋d_kj（三角不等式）
顯然，歐氏距離滿足以上四個條件。滿足以上條件的函式有多種，本節將要用到的馬氏距離也是其中的一種。
　　第i個樣品與第

兩個樣本： 
His1 = {3,4,5,6} 
His2 = {2,2,8,4} 
它們的均值為： 
U = {2.5, 3, 6.5, 5} 
協方差矩陣為：

<span style="font-size:14px;">distances=[]
for i in range(dataSetSize):
    x = numpy.array(dataSet)
    xt=x.T
    D=numpy.cov(xt)
    invD=numpy.linalg.inv(D)
    tp=inX-dataSet[i]
    distances.append(numpy.sqrt(dot(dot(tp,invD),tp.T)))</span>

最後得到的distances就是測試樣本和每個訓練樣本的馬氏距離。

二、wk_NNC演算法

wk-NNC演算法是對經典knn演算法的改進，這種方法是對k個近鄰的樣本按照他們距離待分類樣本的遠近給一個權值w：

是第i個近鄰的權值，其中1<i<k,是待測樣本距離第i個近鄰的距離。

用python實現這個演算法比較簡單：

<span style="font-size:14px;">def wk_knn(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet  
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)  
    distances = sqDistances**0.5 
    sortedDistIndicies = distances.argsort()         
    classCount={}    
    w=[]      
    for i in range(k):
        w.append((distances[sortedDistIndicies[k-1]]-distances[sortedDistIndicies[i]]\
        )/(distances[sortedDistIndicies[k-1]]-distances[sortedDistIndicies[0]]))
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + w[i]
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]</span>

三、knnm演算法

knnm演算法運用了訓練樣本中的每一個模式，對訓練樣本的每個類，

1 ≤ i ≤ c，在每一個類中找出距離測試樣本距離最近的k個近鄰，假設這k個近鄰的均值為，同樣的，i從1到c變化，我們得到，如果是M當中距離測試樣本最近的，則測試樣本屬於類。

如下圖所示，對於一個兩類的問題，每個類選三個近鄰，類用*表示，類用o表示，“Y”是測試樣本，則Y屬於類。

用python實現如下：

<span style="font-size:14px;">def knnm(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet   #tile repeat inX to (dataSetSize,1)
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)  #sum per row
    distances = sqDistances ** 0.5
    sortedDistIndicies = distances.argsort()
    classCount={}
    classNum={}
    i=0
    while i<dataSetSize:
        voteIlabel = labels[sortedDistIndicies[i]]
        if sum(classNum)==10*k:
            break
        elif classNum.get(voteIlabel,0)==k:
            i += 1
        else:
            classCount[voteIlabel] = classCount.get(voteIlabel,0) \
                                     + distances[sortedDistIndicies[i]]
            classNum[voteIlabel]=classNum.get(voteIlabel,0)+1
            i += 1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1))
    return sortedClassCount[0][0]</span>

四、實驗過程

我在手寫字元和約會數集分別作了實驗，結果如下（k=7）：

由於手寫字元訓練樣本協方差矩陣不可逆，因此只能求歐氏距離

五、實驗小結

歐式距離比馬氏距離計算量小得多，速度快，而且可以看出分類的效果甚至比馬氏距離要好，,可以看到，在約會數集中，knn的表現要優於其他兩種演算法，歐式距離的knn錯誤率最低，而wk_knn在手寫字元識別中有較為出色的表現，相對於其他兩種演算法，knnm並沒有想象中的效果。