1.基本Kmeans演算法[1]

[cpp]  view plain  copy

1. 選擇K個點作為初始質心  
2. repeat  
3.     將每個點指派到最近的質心，形成K個簇  
4.     重新計算每個簇的質心  
5. until 簇不發生變化或達到最大迭代次數  

時間複雜度：O(tKmn)，其中，t為迭代次數，K為簇的數目，m為記錄數，n為維數

空間複雜度：O((m+K)n)，其中，K為簇的數目，m為記錄數，n為維數

2.注意問題

（1）K如何確定

        kmenas演算法首先選擇K個初始質心，其中K是使用者指定的引數，即所期望的簇的個數。這樣做的前提是我們已經知道資料集中包含多少個簇，但很多情況下，我們並不知道資料的分佈情況，實際上聚類就是我們發現數據分佈的一種手段，這就陷入了雞和蛋的矛盾。如何有效的確定K值，這裡大致提供幾種方法，若各位有更好的方法，歡迎探討。

1.與層次聚類結合[2]

         經常會產生較好的聚類結果的一個有趣策略是，首先採用層次凝聚演算法決定結果粗的數目，並找到一個初始聚類，然後用迭代重定位來改進該聚類。

2.穩定性方法[3]

        穩定性方法對一個數據集進行2次重取樣產生2個數據子集，再用相同的聚類演算法對2個數據子集進行聚類，產生2個具有k個聚類的聚類結果，計算2個聚類結果的相似度的分佈情況。2個聚類結果具有高的相似度說明k個聚類反映了穩定的聚類結構，其相似度可以用來估計聚類個數。採用次方法試探多個k，找到合適的k值。

3.系統演化方法[3]

         系統演化方法將一個數據集視為偽熱力學系統，當資料集被劃分為K個聚類時稱系統處於狀態K。系統由初始狀態K=1出發，經過分裂過程和合並過程，系統將演化到它的穩定平衡狀態Ki，其所對應的聚類結構決定了最優類數Ki。系統演化方法能提供關於所有聚類之間的相對邊界距離或可分程度，它適用於明顯分離的聚類結構和輕微重疊的聚類結構。

4.使用canopy演算法進行初始劃分[4]

          基於Canopy Method的聚類演算法將聚類過程分為兩個階段
         Stage1、聚類最耗費計算的地方是計算物件相似性的時候，Canopy Method在第一階段選擇簡單、計算代價較低的方法計算物件相似性，將相似的物件放在一個子集中，這個子集被叫做Canopy ，通過一系列計算得到若干Canopy，Canopy之間可以是重疊的，但不會存在某個物件不屬於任何Canopy的情況，可以把這一階段看做資料預處理；
          Stage2、在各個Canopy 內使用傳統的聚類方法(如K-means)，不屬於同一Canopy 的物件之間不進行相似性計算。
從這個方法起碼可以看出兩點好處：首先，Canopy 不要太大且Canopy 之間重疊的不要太多的話會大大減少後續需要計算相似性的物件的個數；其次，類似於K-means這樣的聚類方法是需要人為指出K的值的，通過Stage1得到的Canopy 個數完全可以作為這個K值，一定程度上減少了選擇K的盲目性。

         其他方法如貝葉斯資訊準則方法（BIC）可參看文獻[5]。

（2）初始質心的選取

          選擇適當的初始質心是基本kmeans演算法的關鍵步驟。常見的方法是隨機的選取初始質心，但是這樣簇的質量常常很差。處理選取初始質心問題的一種常用技術是：多次執行，每次使用一組不同的隨機初始質心，然後選取具有最小SSE（誤差的平方和）的簇集。這種策略簡單，但是效果可能不好，這取決於資料集和尋找的簇的個數。           第二種有效的方法是，取一個樣本，並使用層次聚類技術對它聚類。從層次聚類中提取K個簇，並用這些簇的質心作為初始質心。該方法通常很有效，但僅對下列情況有效：（1）樣本相對較小，例如數百到數千（層次聚類開銷較大）；（2）K相對於樣本大小較小            第三種選擇初始質心的方法，隨機地選擇第一個點，或取所有點的質心作為第一個點。然後，對於每個後繼初始質心，選擇離已經選取過的初始質心最遠的點。使用這種方法，確保了選擇的初始質心不僅是隨機的，而且是散開的。但是，這種方法可能選中離群點。此外，求離當前初始質心集最遠的點開銷也非常大。為了克服這個問題，通常該方法用於點樣本。由於離群點很少（多了就不是離群點了），它們多半不會在隨機樣本中出現。計算量也大幅減少。           第四種方法就是上面提到的canopy演算法。

（3）距離的度量

          常用的距離度量方法包括：歐幾里得距離和餘弦相似度。兩者都是評定個體間差異的大小的。歐幾里得距離度量會受指標不同單位刻度的影響，所以一般需要先進行標準化，同時距離越大，個體間差異越大；空間向量餘弦夾角的相似度度量不會受指標刻度的影響，餘弦值落於區間[-1,1]，值越大，差異越小。但是針對具體應用，什麼情況下使用歐氏距離，什麼情況下使用餘弦相似度？           從幾何意義上來說，n維向量空間的一條線段作為底邊和原點組成的三角形，其頂角大小是不確定的。也就是說對於兩條空間向量，即使兩點距離一定，他們的夾角餘弦值也可以隨意變化。感性的認識，當兩使用者評分趨勢一致時，但是評分值差距很大，餘弦相似度傾向給出更優解。舉個極端的例子，兩使用者只對兩件商品評分，向量分別為(3,3)和(5,5)，這兩位使用者的認知其實是一樣的，但是歐式距離給出的解顯然沒有餘弦值合理。[6]

（4）質心的計算

         對於距離度量不管是採用歐式距離還是採用餘弦相似度，簇的質心都是其均值，即向量各維取平均即可。對於距離對量採用其它方式時，這個還沒研究過。

（5）演算法停止條件

         一般是目標函式達到最優或者達到最大的迭代次數即可終止。對於不同的距離度量，目標函式往往不同。當採用歐式距離時，目標函式一般為最小化物件到其簇質心的距離的平方和，如下：
         當採用餘弦相似度時，目標函式一般為最大化物件到其簇質心的餘弦相似度和，如下：

（6）空聚類的處理

           如果所有的點在指派步驟都未分配到某個簇，就會得到空簇。如果這種情況發生，則需要某種策略來選擇一個替補質心，否則的話，平方誤差將會偏大。一種方法是選擇一個距離當前任何質心最遠的點。這將消除當前對總平方誤差影響最大的點。另一種方法是從具有最大SSE的簇中選擇一個替補的質心。這將分裂簇並降低聚類的總SSE。如果有多個空簇，則該過程重複多次。另外，程式設計實現時，要注意空簇可能導致的程式bug。

3.適用範圍及缺陷

           Kmenas演算法試圖找到使平凡誤差準則函式最小的簇。當潛在的簇形狀是凸面的，簇與簇之間區別較明顯，且簇大小相近時，其聚類結果較理想。前面提到，該演算法時間複雜度為O(tKmn)，與樣本數量線性相關，所以，對於處理大資料集合，該演算法非常高效，且伸縮性較好。但該演算法除了要事先確定簇數K和對初始聚類中心敏感外，經常以區域性最優結束，同時對“噪聲”和孤立點敏感，並且該方法不適於發現非凸面形狀的簇或大小差別很大的簇。

4.實現

[cpp]  view plain  copy

1. #include <iostream>  
2. #include <sstream>  
3. #include <fstream>  
4. #include <vector>  
5. #include <math.h>  
6. #include <stdlib.h>  
7. #define k 3//簇的數目  
8. using namespace std;  
9. //存放元組的屬性資訊  
10. typedef vector<double> Tuple;//儲存每條資料記錄  
11.   
12. int dataNum;//資料集中資料記錄數目  
13. int dimNum;//每條記錄的維數  
14.   
15. //計算兩個元組間的歐幾裡距離  
16. double getDistXY(const Tuple& t1, const Tuple& t2)   
17. {  
18.     double sum = 0;  
19.     for(int i=1; i<=dimNum; ++i)  
20.     {  
21.         sum += (t1[i]-t2[i]) * (t1[i]-t2[i]);  
22.     }  
23.     return sqrt(sum);  
24. }  
25.   
26. //根據質心，決定當前元組屬於哪個簇  
27. int clusterOfTuple(Tuple means[],const Tuple& tuple){  
28.     double dist=getDistXY(means[0],tuple);  
29.     double tmp;  
30.     int label=0;//標示屬於哪一個簇  
31.     for(int i=1;i<k;i++){  
32.         tmp=getDistXY(means[i],tuple);  
33.         if(tmp<dist) {dist=tmp;label=i;}  
34.     }  
35.     return label;     
36. }  
37. //獲得給定簇集的平方誤差  
38. double getVar(vector<Tuple> clusters[],Tuple means[]){  
39.     double var = 0;  
40.     for (int i = 0; i < k; i++)  
41.     {  
42.         vector<Tuple> t = clusters[i];  
43.         for (int j = 0; j< t.size(); j++)  
44.         {  
45.             var += getDistXY(t[j],means[i]);  
46.         }  
47.     }  
48.     //cout<<"sum:"<<sum<<endl;  
49.     return var;  
50.   
51. }  
52. //獲得當前簇的均值（質心）  
53. Tuple getMeans(const vector<Tuple>& cluster){  
54.       
55.     int num = cluster.size();  
56.     Tuple t(dimNum+1, 0);  
57.     for (int i = 0; i < num; i++)  
58.     {  
59.         for(int j=1; j<=dimNum; ++j)  
60.         {  
61.             t[j] += cluster[i][j];  
62.         }  
63.     }  
64.     for(int j=1; j<=dimNum; ++j)  
65.         t[j] /= num;  
66.     return t;  
67.     //cout<<"sum:"<<sum<<endl;  
68. }  
69.   
70. void print(const vector<Tuple> clusters[])  
71. {  
72.     for(int lable=0; lable<k; lable++)  
73.     {  
74.         cout<<"第"<<lable+1<<"個簇："<<endl;  
75.         vector<Tuple> t = clusters[lable];  
76.         for(int i=0; i<t.size(); i++)  
77.         {  
78.             cout<<i+1<<".(";  
79.             for(int j=0; j<=dimNum; ++j)  
80.             {  
81.                 cout<<t[i][j]<<", ";  
82.             }  
83.             cout<<")\n";  
84.         }  
85.     }  
86. }  
87.   
88. void KMeans(vector<Tuple>& tuples){  
89.     vector<Tuple> clusters[k];//k個簇  
90.     Tuple means[k];//k箇中心點  
91.     int i=0;  
92.     //一開始隨機選取k條記錄的值作為k個簇的質心（均值）  
93.     srand((unsigned int)time(NULL));  
94.     for(i=0;i<k;){  
95.         int iToSelect = rand()%tuples.size();  
96.         if(means[iToSelect].size() == 0)  
97.         {  
98.             for(int j=0; j<=dimNum; ++j)  
99.             {  
100.                 means[i].push_back(tuples[iToSelect][j]);  
101.             }  
102.             ++i;  
103.         }  
104.     }  
105.     int lable=0;  
106.     //根據預設的質心給簇賦值  
107.     for(i=0;i!=tuples.size();++i){  
108.         lable=clusterOfTuple(means,tuples[i]);  
109.         clusters[lable].push_back(tuples[i]);  
110.     }  
111.     double oldVar=-1;  
112.     double newVar=getVar(clusters,means);  
113.     cout<<"初始的的整體誤差平方和為："<<newVar<<endl;   
114.     int t = 0;  
115.     while(abs(newVar - oldVar) >= 1) //當新舊函式值相差不到1即準則函式值不發生明顯變化時，演算法終止  
116.     {  
117.         cout<<"第 "<<++t<<" 次迭代開始："<<endl;  
118.         for (i = 0; i < k; i++) //更新每個簇的中心點  
119.         {  
120.             means[i] = getMeans(clusters[i]);  
121.         }  
122.         oldVar = newVar;  
123.         newVar = getVar(clusters,means); //計算新的準則函式值  
124.         for (i = 0; i < k; i++) //清空每個簇  
125.         {  
126.             clusters[i].clear();  
127.         }  
128.         //根據新的質心獲得新的簇  
129.         for(i=0; i!=tuples.size(); ++i){  
130.             lable=clusterOfTuple(means,tuples[i]);  
131.             clusters[lable].push_back(tuples[i]);  
132.         }  
133.         cout<<"此次迭代之後的整體誤差平方和為："<<newVar<<endl;   
134.     }  
135.   
136.     cout<<"The result is:\n";  
137.     print(clusters);  
138. }  
139. 相關推薦

     機器學習十大經典演算法：（2）k-means演算法

     1.基本Kmeans演算法[1] [cpp]  view plain  copy 選擇K個點作為初始質心   repeat  

     機器學習十大算法系列（一）——邏輯迴歸

     　　本系列博文整理了常見的機器學習演算法，大部分資料問題都可以通過它們解決： 1.線性迴歸 (Linear Regression) 2.邏輯迴歸 (Logistic Regression) 3.決策樹 (Decision Tree) 4.支援向量機（SV

     機器學習十大經典演算法：（1）C4.5演算法

     C4.5演算法是機器學習演算法中的一種分類決策樹演算法,其核心演算法是ID3演算法. C4.5演算法繼承了ID3演算法的優點，並在以下幾方面對ID3演算法進行了改進： 1)用資訊增益率來選擇屬性，克服了用資訊增益選擇屬性時偏向選擇取值多的屬性的不足；   &nbs

     機器學習十大經典演算法之K-近鄰演算法（學習筆記）

     演算法概述 K-近鄰演算法(k-Nearest Neighbor，KNN)是機器學習演算法中最簡單最容易理解的演算法。該演算法的思路是：給定一個訓練資料集，對新的輸入例項，在訓練資料集中找到與該例項最鄰近的K個例項， 這K個例項的多數屬於某個類，就把該輸入例項分

     機器學習十大經典演算法之決策樹（學習筆記整理）

     一、決策樹概述 決策樹是一種樹形結構，其中每個內部節點表示一個屬性上的測試，每個分支代表一個測試輸出，每個葉節點代表一種類別。決策樹是一個預測模型，代表的是物件屬性與物件值之間的一種對映關係。 最初的節點稱為根節點（如圖中的"顏色"），有分支的節點稱為中間節點

     機器學習——十大資料探勘之一的決策樹CART演算法

     本文始發於個人公眾號：TechFlow，原創不易，求個關注 今天是**機器學習專題**的第23篇文章，我們今天分享的內容是十大資料探勘演算法之一的CART演算法。 CART演算法全稱是**Classification and regression tree**，也就是分類迴歸樹的意思。和之前介紹

     機器學習實戰（2）—— k-近鄰演算法

     老闆：來了，老弟！ 我：來了來了。 老闆：今天你要去看看KNN了，然後我給你安排一個工作！ 我：好嘞！就是第二章嗎？ 老闆：對！去吧！ 可惡的老闆又給我安排任務了！ 《機器學習實戰》這本書中的第二章為我們介紹了K-近鄰演算法，這是本書中第一個機器學習演算法，它非常有效而且易於

     機器學習系列：（六）K-Means聚類

     本章，我們介紹了我們的第一個無監督學習方法：聚類。聚類是用來探索無標籤資料的結構的。我們介紹了K-Means聚類演算法，重複將樣本分配的類裡面，不斷的更新類的重心位置。雖然K-Means是無監督學習方法，其效果依然是可以度量的；用畸變程度和輪廓係數可以評估聚類效果。我們用K-Means研究了兩個問題。第一

     機器學習之決策樹 Decision Tree（三）scikit-learn演算法庫

     1、scikit-learn決策樹演算法類庫介紹         scikit-learn決策樹演算法類庫內部實現是使用了調優過的CART樹演算法，既可以做分類，又可以做迴歸。分類決策樹的類對應的是DecisionTreeClassifier，而回歸決策樹的類對應的是D

     《機器學習實戰》筆記 第二章（2）

     《機器學習實戰》筆記 第二章 （2） 2.2 約會網站配對 程式碼實現 解決方案① 解決方案② 建立散點圖 歸一化資料 作為完整程式驗證分類器 構建完整系統

     Stanford機器學習-Linear Regressioon with One Variable（2）

     代價函式 （Cost function） 前面我們已經得到了如下的訓練集： 如圖所示，現有顯示的有四條資料，我們假設函式 ，那麼兩個引數該如何選擇呢，這就是我們要做的工作。下面我們來對這兩個引數取一些值來看看具體是什麼情況。 當取不同的引數時，所畫出的線各不一樣，那麼

     聚類演算法（一）—— k-means演算法以及其改進演算法

           聚類演算法是一種無監督學習，它把資料分成若干類，同一類中的資料的相似性應儘可能地大，不同類中的資料的差異性應儘可能地大。聚類演算法可分為“軟聚類”和“硬聚類”，對於“硬聚類”，樣本中的每一個點都是 100%確定分到某一個類別；而“軟聚類”是指樣本點以一定的概率被分

     演算法介紹（2） 快速排序演算法

                       本篇介紹快速排序演算法，以及相應的時間空間複雜度求解。               &nb

     劃分方法聚類（二）K-MEANS演算法的改進

     　　　本文將主要針對K-MEANS演算法主要缺點的改進進行講述。 （1）離群點，噪聲點的改進：針對離群點、噪聲點，通過離群點檢測演算法，去掉離群點與噪聲點。資料探勘方面，經常需要在做特徵工程和模型訓

     （二）k-means演算法原理以及python實現

     一、有監督學習和無監督學習 1. 有監督學習 監督學習（supervised learning）：通過已有的訓練樣本（即已知資料以及其對應的輸出）來訓練，從而得到一個最優模型，再利用這個模型將所有新的資料樣本對映為相應的輸出結果，對輸出結果進行簡單的判斷從而

     山東大學模式識別實驗（java）K-means演算法

     K-means是無監督學習，也就是說事先並不知道有幾類，所有資料都是無標記的，所以雖然本實驗的紅酒資料集認為應該分為3類，但是對於k-means來說是沒有意義的。每次分類前我們首先要人為指定分成K類，然後任意選取K個點作為K個類的中心點，遍歷全集，離哪個中心近就認為是哪一堆

     機器學習十大演算法之決策樹（詳細）

     什麼是決策樹？ 如何構建決策樹？ ID3 C4.5 CART 決策樹的優缺點及改進 什麼是決策樹？ 決策樹是運用於分類的一種樹結構，其本質是一顆由多個判斷節點組成的樹，其中的每個內部節點代表對某一屬性的一次測試，每條邊代表一個測試結果，而葉節點代表某個類或類的分佈。 屬於有監督學習 核心思想：

     用Python Scikit-learn 實現機器學習十大演算法--樸素貝葉斯演算法（文末有程式碼）

       1，前言 很久不發文章，主要是Copy別人的總感覺有些不爽，所以整理些乾貨，希望相互學習吧。不囉嗦，進入主題吧，本文主要時說的為樸素貝葉斯分類演算法。與邏輯迴歸，決策樹一樣，是較為廣泛使用的有監督分類演算法，簡單且易於理解（號稱十大資料探勘演算法中最簡單的演算法）。但

     機器學習十大演算法--迴歸演算法（批量梯度下降）

     機器學習演算法分為有監督學習和無監督學習，迴歸演算法屬於監督學習一類。本人小白一個，想學習機器學習，以後有新的學習結果，希望都可以寫在部落格上面，以此來監督自己的學習，如有不對的地方，還希望大家多多諒解，指出錯誤。 迴歸演算法主要是對已給的資料通過調整引數的手段來使計算結果

     輕鬆看懂機器學習十大常用演算法（附例項）

     來源：資料與演算法之美本文共2000字，建議閱讀8分鐘。本文僅用圖解，為你介紹十大常用演算法及其