原地址

1、如何理解K-Means演算法？
2、如何尋找K值及初始質心？
3、如何應用K-Means演算法處理資料？


K-means聚類的演算法原理

K-Means是聚類演算法中的一種，其中K表示類別數，Means表示均值。顧名思義K-Means是一種通過均值對資料點進行聚類的演算法。K-Means演算法通過預先設定的K值及每個類別的初始質心對相似的資料點進行劃分。並通過劃分後的均值迭代優化獲得最優的聚類結果。

K值及初始質心

K值是聚類結果中類別的數量。簡單的說就是我們希望將資料劃分的類別數。K值決定了初始質心的數量。K值為幾，就要有幾個質心。選擇最優K值沒有固定的公式或方法，需要人工來指定，建議根據實際的業務需求，或通過層次聚類(Hierarchical Clustering)的方法獲得資料的類別數量作為選擇K值的參考。這裡需要注意的是選擇較大的K值可以降低資料的誤差，但會增加過擬合的風險。

k-means演算法虛擬碼：

******************************************************************************

1.選取k個質心（這一步會影響整個聚類的結果）
2.將任意一個點分配到離質心最近的簇。
3.用每個簇的均值作為質心。
4.重複2和3直到所有點的分配結果不再發生變化，或者誤差小於給定誤差

********************************************************

K-means聚類演算法實現（python程式碼）

Irst.txt資料集：

以下是以資料集Irst.txt進行演算法實現：

# coding=utf-8
from numpy import *
# 載入資料
def loadDataSet(fileName):  # 解析檔案，按tab分割欄位，得到一個浮點數字型別的矩陣
    dataMat = []              # 檔案的最後一個欄位是類別標籤
    fr = open(fileName)
    for line in fr.readlines():
        curLine = line.strip().split(' ')
        fltLine =map(float, curLine)# 將每個元素轉成float型別
        dataMat.append(list(fltLine))
    return dataMat

# 計算歐幾里得距離
def distEclud(vecA, vecB):
    return sqrt(sum(power(vecA - vecB, 2))) # 求兩個向量之間的距離

# 構建聚簇中心，取k個(此例中為4)隨機質心
def randCent(dataSet, k):
    n = shape(dataSet)[1]
    centroids = mat(zeros((k,n)))   # 每個質心有n個座標值，總共要k個質心
    for j in range(n):
        minJ = min(dataSet[:,j])
        maxJ = max(dataSet[:,j])
        rangeJ = float(maxJ - minJ)
        centroids[:,j] = minJ + rangeJ * random.rand(k, 1)
    return centroids

# k-means 聚類演算法
def kMeans(dataSet, k, distMeans =distEclud, createCent = randCent):
    m = shape(dataSet)[0]
    clusterAssment = mat(zeros((m,2)))    # 用於存放該樣本屬於哪類及質心距離
    # clusterAssment第一列存放該資料所屬的中心點，第二列是該資料到中心點的距離
    centroids = createCent(dataSet, k)
    clusterChanged = True   # 用來判斷聚類是否已經收斂
    while clusterChanged:
        clusterChanged = False;
        for i in range(m):  # 把每一個數據點劃分到離它最近的中心點
            minDist = inf; minIndex = -1;
            for j in range(k):
                distJI = distMeans(centroids[j,:], dataSet[i,:])
                if distJI < minDist:
                    minDist = distJI; minIndex = j  # 如果第i個數據點到第j箇中心點更近，則將i歸屬為j
            if clusterAssment[i,0] != minIndex: clusterChanged = True;  # 如果分配發生變化，則需要繼續迭代
            clusterAssment[i,:] = minIndex,minDist**2   # 並將第i個數據點的分配情況存入字典
        print(centroids)
        for cent in range(k):   # 重新計算中心點
            ptsInClust = dataSet[nonzero(clusterAssment[:,0].A == cent)[0]]   # 去第一列等於cent的所有列
            centroids[cent,:] = mean(ptsInClust, axis = 0)  # 算出這些資料的中心點
    return centroids, clusterAssment
# --------------------測試----------------------------------------------------
# 用測試資料及測試kmeans演算法
datMat = mat(loadDataSet('E:\\Iris.txt'))
myCentroids,clustAssing = kMeans(datMat,4)
print(myCentroids)
print(clustAssing)

部分執行結果：

聚類分析之K-means演算法案例及其Python實現(二)

https://blog.csdn.net/lilu916/article/details/72997644

國家數學建模賽C題問題一求解參照

聚類分析之K-means演算法案例及其Python實現(三)

https://blog.csdn.net/zouxy09/article/details/17589329

scikit-learn 原始碼解讀之Kmeans

http://midday.me/article/f8d29baa83ae41ec8c9826401eb7685e

Kmeans聚類過程的動態視覺化

https://blog.csdn.net/happyyear1/article/details/50973675

K的選擇：肘部法則

https://www.cnblogs.com/wuchuanying/p/6264025.html

如有不足改正，請多多指教！