主要參考 K-means 聚類算法及 python 代碼實現 還有 《機器學習實戰》 這本書，當然前面那個鏈接的也是參考這本書，懂原理，會用就行了。

1、概述

K-means 算法是集簡單和經典於一身的基於距離的聚類算法

采用距離作為相似性的評價指標，即認為兩個對象的距離越近，其相似度就越大。

該算法認為類簇是由距離靠近的對象組成的，因此把得到緊湊且獨立的簇作為最終目標。

說白了就是無監督的聚類，大家都是同一個標註，或者沒有標註，然後這一堆數據是一類，那一堆又是一類，你人為的設置好幾個類，算法自動幫你分好各個類，只要每個類的樣本盡可能的緊湊即可。

2、核心思想

通過叠代尋找 k 個類簇的一種劃分方案，使得用這 k 個類簇的均值來代表相應各類樣本時所得的總體誤差最小。

k 個聚類具有以下特點：各聚類本身盡可能的緊湊，而各聚類之間盡可能的分開。

k-means 算法的基礎是最小誤差平方和準則,

其代價函數是：

式中，μc(i) 表示第 i 個聚類的均值。

各類簇內的樣本越相似，其與該類均值間的誤差平方越小，對所有類所得到的誤差平方求和，即可驗證分為 k 類時，各聚類是否是最優的。

上式的代價函數無法用解析的方法最小化，只能有叠代的方法。

3、算法步驟圖解

下圖展示了對 n 個樣本點進行 K-means 聚類的效果，這裏 k 取 2。

4、算法實現步驟

k-means 算法是將樣本聚類成 k 個簇（cluster），其中 k 是用戶給定的，其求解過程非常直觀簡單，具體算法描述如下：

1) 隨機選取 k 個聚類質心點

2) 重復下面過程直到收斂 {

對於每一個樣例 i，計算其應該屬於的類：

對於每一個類 j，重新計算該類的質心：

}

其偽代碼如下：

******************************************************************************

創建 k 個點作為初始的質心點（隨機選擇）

當任意一個點的簇分配結果發生改變時

對數據集中的每一個數據點

對每一個質心

計算質心與數據點的距離

將數據點分配到距離最近的簇

對每一個簇，計算簇中所有點的均值，並將均值作為質心

********************************************************

5、K-means 聚類算法 python 實戰

這個就是書上的代碼。

需求： 對給定的數據集進行聚類

本案例采用二維數據集，共 80 個樣本，有 4 個類。

$ wc -l testSet.txt;head testSet.txt
80 testSet.txt
1.658985 4.285136
-3.453687 3.424321
4.838138 -1.151539
-5.379713 -3.362104
0.972564 2.924086
-3.567919 1.531611
0.450614 -3.302219
-3.487105 -1.724432
2.668759 1.594842
-3.156485 3.191137

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# Time    : 18-8-8 下午2:17
# Author  : dahu
# File    : kmeans2.py
# Software: PyCharm

#from :  https://www.cnblogs.com/ahu-lichang/p/7161613.html
import sys
reload(sys)
sys.setdefaultencoding(‘UTF-8‘)

from numpy import *
import matplotlib.pyplot as plt
# 加載數據
def loadDataSet(fileName):  # 解析文件，按tab分割字段，得到一個浮點數字類型的矩陣
    dataMat = []              # 文件的最後一個字段是類別標簽
    fr = open(fileName)
    for line in fr.readlines():
        curLine = line.strip().split(‘\t‘)
        fltLine = map(float, curLine)    # 將每個元素轉成float類型
        dataMat.append(fltLine)
    return dataMat

# 計算歐幾裏得距離
def distEclud(vecA, vecB):
    return sqrt(sum(power(vecA - vecB, 2))) # 求兩個向量之間的距離

# 構建聚簇中心，取k個(此例中k=4)隨機質心
def randCent(dataSet, k):
    n = shape(dataSet)[1]
    centroids = mat(zeros((k,n)))   # 每個質心有n個坐標值，總共要k個質心
    for j in range(n):
        minJ = min(dataSet[:,j])
        maxJ = max(dataSet[:,j])
        rangeJ = float(maxJ - minJ)
        centroids[:,j] = minJ + rangeJ * random.rand(k, 1)
    return centroids

# k-means 聚類算法
def kMeans(dataSet, k, distMeans =distEclud, createCent = randCent):
    ‘‘‘
    :param dataSet:  沒有lable的數據集  (本例中是二維數據)
    :param k:  分為幾個簇
    :param distMeans:    計算距離的函數
    :param createCent:   獲取k個隨機質心的函數
    :return: centroids： 最終確定的 k個 質心
            clusterAssment:  該樣本屬於哪類  及  到該類質心距離
    ‘‘‘
    m = shape(dataSet)[0]   #m=80,樣本數量
    clusterAssment = mat(zeros((m,2)))
    # clusterAssment第一列存放該數據所屬的中心點，第二列是該數據到中心點的距離，
    centroids = createCent(dataSet, k)
    clusterChanged = True   # 用來判斷聚類是否已經收斂
    while clusterChanged:
        clusterChanged = False;
        for i in range(m):  # 把每一個數據點劃分到離它最近的中心點
            minDist = inf; minIndex = -1;
            for j in range(k):
                distJI = distMeans(centroids[j,:], dataSet[i,:])
                if distJI < minDist:
                    minDist = distJI; minIndex = j  # 如果第i個數據點到第j個中心點更近，則將i歸屬為j
            if clusterAssment[i,0] != minIndex:
                clusterChanged = True  # 如果分配發生變化，則需要繼續叠代
            clusterAssment[i,:] = minIndex,minDist**2   # 並將第i個數據點的分配情況存入字典
        # print centroids
        for cent in range(k):   # 重新計算中心點
            ptsInClust = dataSet[nonzero(clusterAssment[:,0].A == cent)[0]]   # 去第一列等於cent的所有列
            centroids[cent,:] = mean(ptsInClust, axis = 0)  # 算出這些數據的中心點
    return centroids, clusterAssment
# --------------------測試----------------------------------------------------
# 用測試數據及測試kmeans算法
if __name__ == ‘__main__‘:
    datMat = mat(loadDataSet(‘testSet.txt‘))
    # print min(datMat[:,0])
    # print max(datMat[:,1])
    # print randCent(datMat,4)
    myCentroids,clustAssing = kMeans(datMat,4)
    print myCentroids
    # print clustAssing,len(clustAssing)

    plt.figure(1)
    x=array(datMat[:,0]).ravel()
    y=array(datMat[:,1]).ravel()
    plt.scatter(x,y, marker=‘o‘)
    xcent=array(myCentroids[:,0]).ravel()
    ycent=array(myCentroids[:,1]).ravel()
    plt.scatter( xcent, ycent, marker=‘x‘, color=‘r‘, s=50)
    plt.show()

運行結果：

代碼不是特別的難，看下都可以看得明白，發現都有點不會numpy的操作了，裏面有一些是基於numpy的 布爾型數組操作 ，要補一補。 第 04 章 NumPy 基礎：數組和矢量計算

簡單說下各個函數的作用：

loadDataSet ：加載數據的

distEclud ： 計算距離的，註釋說是計算歐幾裏德距離，其實就是計算  每個樣本 到 每個聚類質心的距離，這是用來確定質心坐標的。

kMeans ： 主函數了，實現了kmeans 算法

註釋已經比較詳細了，就不再細說了。 書上後面還有一個對kmeans優化的地方，這裏就不介紹了。

Kmeans 聚類 及其python實現