來源：DataGod

聚類分析是沒有給定劃分類別的情況下，根據樣本相似度進行樣本分組的一種方法，是一種非監督的學習演算法。聚類的輸入是一組未被標記的樣本，聚類根據資料自身的距離或相似度劃分為若干組，劃分的原則是組內距離最小化而組間距離最大化，如下圖所示：

常見的聚類分析演算法如下：

1. K-Means： K-均值聚類也稱為快速聚類法，在最小化誤差函式的基礎上將資料劃分為預定的類數K。該演算法原理簡單並便於處理大量資料。
2. K-中心點：K-均值演算法對孤立點的敏感性，K-中心點演算法不採用簇中物件的平均值作為簇中心，而選用簇中離平均值最近的物件作為簇中心。
3. 系統聚類：也稱為層次聚類，分類的單位由高到低呈樹形結構，且所處的位置越低，其所包含的物件就越少，但這些物件間的共同特徵越多。該聚類方法只適合在小資料量的時候使用，資料量大的時候速度會非常慢。

下面我們詳細介紹K-Means聚類演算法。 K-Means聚類演算法 K-Means演算法是典型的基於距離的非層次聚類演算法，在最小化誤差函式的基礎上將資料劃分為預定的類數K，採用距離作為相似性的評價指標，即認為兩個物件的距離越近，其相似度就越大。

演算法實現

選擇K個點作為初始質心 repeat 將每個點指派到最近的質心，形成K個簇 重新計算每個簇的質心 until 簇不發生變化或達到最大迭代次數

K如何確定 與層次聚類結合，經常會產生較好的聚類結果的一個有趣策略是，首先採用層次凝聚演算法決定結果粗的數目，並找到一個初始聚類，然後用迭代重定位來改進該聚類。

初始質心的選取 常見的方法是隨機的選取初始質心，但是這樣簇的質量常常很差。 （1）多次執行，每次使用一組不同的隨機初始質心，然後選取具有最小SSE（誤差的平方和）的簇集。這種策略簡單，但是效果可能不好，這取決於資料集和尋找的簇的個數。 （2）取一個樣本，並使用層次聚類技術對它聚類。從層次聚類中提取K個簇，並用這些簇的質心作為初始質心。該方法通常很有效，但僅對下列情況有效：樣本相對較小；K相對於樣本大小較小。 （3）取所有點的質心作為第一個點。然後，對於每個後繼初始質心，選擇離已經選取過的初始質心最遠的點。使用這種方法，確保了選擇的初始質心不僅是隨機的，而且是散開的。但是，這種方法可能選中離群點。

距離的度量 常用的距離度量方法包括：歐幾里得距離和餘弦相似度。歐幾里得距離度量會受指標不同單位刻度的影響，所以一般需要先進行標準化，同時距離越大，個體間差異越大；空間向量餘弦夾角的相似度度量不會受指標刻度的影響，餘弦值落於區間[-1,1]，值越大，差異越小。

質心的計算 對於距離度量不管是採用歐式距離還是採用餘弦相似度，簇的質心都是其均值。

演算法停止條件 一般是目標函式達到最優或者達到最大的迭代次數即可終止。對於不同的距離度量，目標函式往往不同。當採用歐式距離時，目標函式一般為最小化物件到其簇質心的距離的平方和；當採用餘弦相似度時，目標函式一般為最大化物件到其簇質心的餘弦相似度和。

空聚類的處理

適用範圍及缺陷 K-Menas演算法試圖找到使平方誤差準則函式最小的簇。當潛在的簇形狀是凸面的，簇與簇之間區別較明顯，且簇大小相近時，其聚類結果較理想。對於處理大資料集合，該演算法非常高效，且伸縮性較好。 但該演算法除了要事先確定簇數K和對初始聚類中心敏感外，經常以區域性最優結束，同時對“噪聲”和孤立點敏感，並且該方法不適於發現非凸面形狀的簇或大小差別很大的簇。 克服缺點的方法：使用盡量多的資料；使用中位數代替均值來克服outlier的問題。

例項解析

>>> import pandas as pd
# 載入sklearn包自帶資料集
>>> from sklearn.datasets importload_iris
>>> iris = load_iris()
# 需要聚類的資料150個樣本，4個變數
>>> iris.data
>>> data = pd.DataFrame(iris.data)
# 資料標準化(z-score)
>>> data_zs = (data -data.mean())/data.std()
# 匯入sklearn中的kmeans
>>> from sklearn.cluster importKMeans
# 設定類數k
>>> k = 3
# 設定最大迭代次數
>>> iteration = 500
# 建立kmeans物件
>>> model = KMeans(n_clusters=k,n_jobs=4,max_iter=iteration)
# 使用資料訓練訓練model
>>> model.fit(data_zs)
# 每個類別樣本個數
>>> pd.Series(model.labels_).value_counts()
# 每個類別的聚類中心
>>> pd.DataFrame(model.cluster_centers_)

下面我們用TSNE（高維資料視覺化工具）對聚類結果進行視覺化

>>> import matplotlib.pyplot asplt
>>> from sklearn.manifold importTSNE
 
>>> tsne = TSNE(learning_rate=100)
# 對資料進行降維
>>> tsne.fit_transform(data_zs)
>>> data =pd.DataFrame(tsne.embedding_, index=data_zs.index)
 
# 不同類別用不同顏色和樣式繪圖
>>> d = data[model.labels_==0]
>>> plt.plot(d[0],d[1],'r.')
>>> d = data[model.labels_==1]
>>> plt.plot(d[0],d[1],'go')
>>> d = data[model.labels_==2]
>>> plt.plot(d[0],d[1],'b*')
>>> plt.show()

聚類效果圖如下：

>>> from sklearn.decompositionimport PCA
>>> pca = PCA()
>>> data =pca.fit_transform(data_zs)
>>> data = pd.DataFrame(data,index=data_zs.index)
>>> d = data[model.labels_==0]
>>> plt.plot(d[0],d[1],'r.')
>>> d = data[model.labels_==1]
>>> plt.plot(d[0],d[1],'go')
>>> d = data[model.labels_==2]
>>> plt.plot(d[0],d[1],'b*')
>>> plt.show()

聚類效果圖如下：

1. KMeans: K均值聚類；

2. AffinityPropagation: 吸引力傳播聚類，2007年提出，幾乎優於所有其他方法，不需要指定聚類數K，但執行效率較低；
3. MeanShift：均值漂移聚類演算法；
4. SpectralClustering：譜聚類，具有效果比KMeans好，速度比KMeans快等特點；
   5.** AgglomerativeClustering**：層次聚類，給出一棵聚類層次樹；
5. DBSCAN：具有噪音的基於密度的聚類方法；
6. BIRCH：綜合的層次聚類演算法，可以處理大規模資料的聚類。

這些方法的使用大同小異，基本都是先用對應的函式建立模型，然後用fit()方法來訓練模型，訓練好之後，就可以用labels_屬性得到樣本資料的標籤，或者用predict()方法預測新樣本的標籤。