聚類演算法-K-means-C++實現
阿新 • • 發佈:2019-01-08
程式流程圖:
K-means核心功能函式,首先,隨機選擇K-中心點(中心點座標為簇中所有點的x座標的平均值,y座標的平均值,該點用於記錄位置,不屬於原始資料集);迴圈判斷中心點是否不變,若是,將二維點對資訊寫入clustering檔案,程式結束。否則,對於每個二維資料點,選擇與其距離最近的中心點,將點cluster編號更新為中心點的cluster編號。然後對於K-簇,重新計算K-中心點,進入下一個迴圈判斷。
計算簇中心是否不變可以採用SSE方式,具體實現程式碼中已給出,或者直接迴圈執行多次(不推薦)。
/* K-means Algorithm 15S103182 Ethan */ #include <iostream> #include <sstream> #include <fstream> #include <string> #include <vector> #include <ctime> #include <cstdlib> #include <limits> using namespace std; /* run this program using the console pauser or add your own getch, system("pause") or input loop */ typedef struct Point{ float x; float y; int cluster; Point (){} Point (float a,float b,int c){ x = a; y = b; cluster = c; } }point; float stringToFloat(string i){ stringstream sf; float score=0; sf<<i; sf>>score; return score; } vector<point> openFile(const char* dataset){ fstream file; file.open(dataset,ios::in); vector<point> data; while(!file.eof()){ string temp; file>>temp; int split = temp.find(',',0); point p(stringToFloat(temp.substr(0,split)),stringToFloat(temp.substr(split+1,temp.length()-1)),0); data.push_back(p); } file.close(); return data; } float squareDistance(point a,point b){ return (a.x-b.x)*(a.x-b.x)+(a.y-b.y)*(a.y-b.y); } void k_means(vector<point> dataset,int k){ vector<point> centroid; int n=1; int len = dataset.size(); srand((int)time(0)); //random select centroids while(n<=k){ int cen = (float)rand()/(RAND_MAX+1)*len; point cp(dataset[cen].x,dataset[cen].y,n); centroid.push_back(cp); n++; } for(int i=0;i<k;i++){ cout<<"x:"<<centroid[i].x<<"\ty:"<<centroid[i].y<<"\tc:"<<centroid[i].cluster<<endl; } //cluster int time = 100; int oSSE = INT_MAX; int nSSE = 0; while(abs(oSSE-nSSE)>=1){ // while(time){ oSSE = nSSE; nSSE = 0; //update cluster for all the points for(int i=0;i<len;i++){ n=1; float shortest = INT_MAX; int cur = dataset[i].cluster; while(n<=k){ float temp=squareDistance(dataset[i],centroid[n-1]); if(temp<shortest){ shortest = temp; cur = n; } n++; } dataset[i].cluster = cur; } //update cluster centroids int *cs = new int[k]; for(int i=0;i<k;i++) cs[i] = 0; for(int i=0;i<k;i++){ centroid[i] = point(0,0,i+1); } for(int i=0;i<len;i++){ centroid[dataset[i].cluster-1].x += dataset[i].x; centroid[dataset[i].cluster-1].y += dataset[i].y; cs[dataset[i].cluster-1]++; } for(int i=0;i<k;i++){ centroid[i].x /= cs[i]; centroid[i].y /= cs[i]; } cout<<"time:"<<time<<endl; for(int i=0;i<k;i++){ cout<<"x:"<<centroid[i].x<<"\ty:"<<centroid[i].y<<"\tc:"<<centroid[i].cluster<<endl; } //SSE for(int i=0;i<len;i++){ nSSE += squareDistance(centroid[dataset[i].cluster-1],dataset[i]); } // time--; } fstream clustering; clustering.open("clustering.txt",ios::out); for(int i=0;i<len;i++){ clustering<<dataset[i].x<<","<<dataset[i].y<<","<<dataset[i].cluster<<"\n"; } clustering.close(); // cout<<endl; // for(int i=0;i<centroid.size();i++){ // cout<<"x:"<<centroid[i].x<<"\ty:"<<centroid[i].y<<"\tc:"<<centroid[i].cluster<<endl; // } } int main(int argc, char** argv) { vector<point> dataset = openFile("dataset3.txt"); k_means(dataset,7); return 0; }
資料檔案格式:(x,y)
執行結果格式:(x,y,cluster)
具體檔案格式見DBSCAN篇:http://blog.csdn.net/k76853/article/details/50440182
圖形化展現:
總結:
K-means演算法執行速度快,實現簡便。但K-means演算法對具有變化大小,變化密度,非圓形狀等特點的資料具有侷限性。解決方法是增加K的大小,增加cluster數量,使得資料的特徵能夠更加明顯。對於資料初始中心點的選擇,採用隨機的方式可能無法產生理想的聚類,這時可以採用二分K-means方法,或層次聚類進行處理。