1. 程式人生 > >【機器學習】:Kmeans均值聚類演算法原理(附帶Python程式碼實現)

【機器學習】:Kmeans均值聚類演算法原理(附帶Python程式碼實現)

這個演算法中文名為k均值聚類演算法,首先我們在二維的特殊條件下討論其實現的過程,方便大家理解。

第一步.隨機生成質心

由於這是一個無監督學習的演算法,因此我們首先在一個二維的座標軸下隨機給定一堆點,並隨即給定兩個質心,我們這個演算法的目的就是將這一堆點根據它們自身的座標特徵分為兩類,因此選取了兩個質心,什麼時候這一堆點能夠根據這兩個質心分為兩堆就對了。如下圖所示:

第二步.根據距離進行分類

紅色和藍色的點代表了我們隨機選取的質心。既然我們要讓這一堆點的分為兩堆,且讓分好的每一堆點離其質心最近的話,我們首先先求出每一個點離質心的距離。假如說有一個點離紅色的質心比例藍色的質心更近,那麼我們則將這個點歸類為紅色質心這一類,反之則歸於藍色質心這一類,如圖所示:

 

第三步.求出同一類點的均值,更新質心位置

在這一步當中,我們將同一類點的x\y的值進行平均,求出所有點之和的平均值,這個值(x,y)則是我們新的質心的位置,如圖所示:

我們可以看到,質心的位置已經發生了改變。

第四步.重複第二步,第三步

我們重複第二步和第三部的操作,不斷求出點對質心的最小值之後進行分類,分類之後再更新質心的位置,直到得到迭代次數的上限(這個迭代次數是可以我們自己設定的,比如10000次),或者在做了n次迭代之後,最後兩次迭代質心的位置已經保持不變,如下圖所示:

這個時候我們就將這一堆點按照它們的特徵在沒有監督的條件下,分成了兩類了!!

五.如果面對多個特徵確定的一個點的情況,又該如何實現聚類呢?

首先我們引入一個概念,那就是歐式距離,歐式距離是這樣定義的,很容易理解:

很顯然,歐式距離d(xi,xj)等於我們每一個點的特徵去減去另一個點在該維度下的距離的平方和再開根號,十分容易理解。

我們也可以用另一種方式來理解kmeans演算法,那就是使某一個點的和另一些點的方差做到最小則實現了聚類,如下圖所示:

得解!

六:程式碼實現

我們現在使用Python語言來實現這個kmeans均值演算法,首先我們先匯入一個名叫make_blobs的資料集datasets,然後分別使用兩個變數X,和y進行接收。X表示我們得到的資料,y表示這個資料應該被分類到的是哪一個類別當中,當然在我們實際的資料當中不會告訴我們哪個資料分在了哪一個類別當中,只會有X當中資料。在這裡寫程式碼的時候比較特殊,make_blobs庫要求我們必須接受這兩個引數,不能夠只接受X這個資料引數,程式碼如下

plt.figure(figsize=(15,15))#規定我們繪圖的大小為12*12

X, y=make_blobs(n_samples=1600,random_state=170)#一共取用1600個sample,同時狀態設定為隨機
#不知道這個狀態隨機是什麼意思,只能查有關這個庫的官方文件,同時這個資料集規定了是具備三個資料中心,也就是三個簇
y_pred=KMeans(n_clusters=3,random_state=170).fit_predict(X)

plt.subplot(221)#表示四個方格當中的第一格
plt.scatter(X[:,0],X[:,1],c=y_pred)#表示資料的第0個和第1個維度,同時資料的colour與predict的結果有關
plt.title("The result of the Kmeans")

plt.subplot(222)#表示四個方格當中的第一格
plt.scatter(X[:,0],X[:,1],c=y)
plt.title("The Real result of the Kmeans")

array=np.array([[0.60834549,-0.63667341],[-0.40887178,-0.85253229]])
lashen=np.dot(X,array)
y_pred=KMeans(n_clusters=3,random_state=170).fit_predict(lashen)

plt.subplot(223)#表示四個方格當中的第一格
plt.scatter(lashen[:,0],lashen[:,1],c=y_pred)#表示資料的第0個和第1個維度,同時資料的colour與predict的結果有關
plt.title("The Real result of the tranfored data")

我們在使用scatter函式進行繪圖的時候會根據我們資料結的形狀來編寫相應的程式碼,這裡我們所拿到的X資料集的行數是我們所指定的1600行,因為我們一共拿到了1600個數據,每一個數據僅有兩個特徵,也就是在XY軸當中的座標,因此X是一個二維的ndarray物件(X是numpy當中的ndarray物件),我們可以打印出來看看這個資料的構成,如下圖所示:

 

 

 同時我們也可以看到y也是ndarray物件,由於我們在採集資料的時候僅僅接受了3個簇,make_blobs預設接受的是三個簇(或稱cluster)的緣故,因此最後y的值只有0,1,2這三種可能。我們通過matplotlib繪圖,繪製出我們分類的結果圖,也就是上述程式碼的執行結果如下: