2. 程式人生 > >Matlab實現K均值聚類

Matlab實現K均值聚類

阿新 • • 發佈：2018-12-30

作為第一個部落格，我寫了一個簡單的K均值聚類演算法。過程大致如下：
（1）從n個樣本中任意選擇（一般是隨機分配），k個作為初始聚類中心；
（2）對於剩下的其它樣本點，根據它們與這些聚類中心的距離，分別將它們分配給與其最相似的中心所在的類別 C j；
（3）計算每個新類的聚類中心；
（4）不斷重複步驟（2）（3），直到所有樣本點的分類不再改變或類中心不再改變。

一、方法說明

  • 在(2)計算距離的時候，我用的是歐式距離：

    dij=∑k=1n(Xik−Xjk)2−−−−−−−−−−−−−√
    其中，i和j表示第i個點和第j個點，n表示聚類物件是n維的，比如聚類物件為2維的，我們計算第一個點和第二個點的歐式距離：
    d
    12    =(x11−x21)2+(x12−x22)2−−−−−−−−−−−−−−−−−−−−−√

  • 在(3)更新聚類中心時，對於每一個類，重新計算該類的中心：

    uj=∑mi=11{c(i)=j}x(i)∑mi=11{c(i)=j}

    • 二、Matlab實現
    資料是用rand隨機生成的100個點，K均值聚類的程式如下： 
    function [C,new_u,iter]=Kmeans(data,k) %該程式對data聚類，k類
%從data中隨機選擇k個樣本作為初始均值向量{u1,u2}
[row,col]=size(data);%row為樣本個數，col為維數
%隨機抽取樣本點作為初始中心的向量
     
    
rand('seed',9);num=randsample(length(data),k,'false');
u=zeros*data(num,:);new_u=data(num,:);
%初始化元胞，和迭代次數
C=cell(1,k);iter=1;
while(new_u~=u)
    u=new_u;C=cell(1,k);
    for i=1:k
    %計算每一個樣本點與中心的歐式距離
        dist(:,i)=sqrt(sum((data-repmat(u(i,:),row,1)).^2,2));  
    end
    for j=1:row
        index=find
     
    (dist(j,:)==min(dist(j,:)));
        C{1,index}=[C{1,index};data(j,:)];
    end 
    for i=1:k
        new_u(i,:)=sum(C{1,i})/length(C{1,i});
    end
    iter=iter+1; %迭代次數
end
KmeansPlot(C,new_u,k);%畫圖
end


    聚類結果如下：

    這裡寫圖片描述


    三、虛擬碼
    在這裡，給讀者再貼上一個周志華寫的機器學習裡k均值聚類的虛擬碼，便於理解。
    這裡寫圖片描述


    四、總結

    1. k均值不需要計算任意兩點的距離，因此比其它聚類方法有更快的收斂速度
    2. k均值被批評可能陷入區域性最優，全域性最優需要藉助模擬退火演算法或遺傳演算法
    3. 容易受到初始點選擇的影響，不適合非凸問題，受異常資料影響受不同類別密度方差大小的影響，解決方法是二分k均值

    [1]王星編著.大資料分析 方法與應用[M].北京：清華大學出版社.2013.
    [2]周志華著.機器學習[M].北京：清華大學出版社.2016.

    相關推薦

    Matlab實現K均值聚類

    作為第一個部落格，我寫了一個簡單的K均值聚類演算法。過程大致如下： （1）從n個樣本中任意選擇（一般是隨機分配），k個作為初始聚類中心； （2）對於剩下的其它樣本點，根據它們與這些聚類中心的距離，分

    利用sklearn.cluster實現k均值聚類

    一、k-mean演算法介紹 1.主要思想:在給定聚類簇數（K值）【n_clusters】和K個初始類簇中心（通常從資料集中隨機選取k個數據）的情況下，歷遍資料集中的每個資料點，而資料點距離哪個類簇中心（cluster centers）最近，就把該資

    K均值聚類算法的MATLAB實現

    均值 選擇 自己 eps 隨機生成 工具 images num step 1.K-均值聚類法的概述 之前在參加數學建模的過程中用到過這種聚類方法，但是當時只是簡單知道了在matlab中如何調用工具箱進行聚類，並不是特別清楚它的原理。最近因為在學模式識別，又重新接觸了這

    K均值聚類演算法的MATLAB實現

    單來說，K-均值聚類就是在給定了一組樣本(x1, x2, ...xn) （xi, i = 1, 2, ... n均是向量) 之後，假設要將其聚為 m(<n) 類，可以按照如下的步驟實現:   Step 1: 從 (x1, x2, ...xn) 中隨機選擇

    K均值聚類的理解和實現

    目錄 1. 距離的測度 1.1 歐式距離 1.2 馬氏距離 1.2.1 利用馬氏距離對資料進行歸一化 1.2.2 利用馬氏距離進行分類 2. K均值的基本理論 2.1 K均值的原理和實現 2.2 K均值的缺點 2.3 K均值改進 3. 演算法實現 3.1

    機器學習-*-K均值聚類及程式碼實現

    KMeans聚類 在聚類演算法中，最出名的應該就是k均值聚類(KMeans)了，幾乎所有的資料探勘/機器學習書籍都會介紹它，有些初學者還會將其與KNN等混淆。k均值是一種聚類演算法，屬於無監督學習的一種，而KNN是有監督學習/分類學習的一種。 聚類：顧名思義，就是講某些相似的事物聚在

    k-means(k均值聚類)演算法介紹及實現(c++)

    基本介紹： k-means 演算法接受輸入量 k ；然後將n個數據物件劃分為 k個聚類以便使得所獲得的聚類滿足：同一聚類中的物件相似度較高；而不同聚類中的物件相似度較小。聚類相似度是利用各聚類中物件的均值所獲得一個“中心物件”（引力中心）來進行計算的。 工作過程： 　　k

    如何編寫求K-均值聚類演算法的Matlab程式？

    在聚類分析中，K-均值聚類演算法（k-means algorithm）是無監督分類中的一種基本方法，其也稱為C-均值演算法，其基本思想是：通過迭代的方法，逐次更新各聚類中心的值，直至得到最好的聚類結果。 假設要把樣本集分為c個類別，演算法如下： （1）適當選擇c個類的初始中心； （2）在第k次迭代中，對任意

    機器學習-K均值聚類(python3程式碼實現)

    K均值聚類 哈爾濱工程大學-537 演算法原理： K均值是發現給定資料集的kk個簇的演算法。簇個數kk是使用者給定的，每一個簇通過其質心(centroid)，即簇中所有點的中心來描述。 K均值演算法的工作流程是：首先隨機確定kk個初始點作為質心。然後

    k均值聚類算法原理和（TensorFlow）實現

    兩個 NPU 函數返回 arc 衡量 oat ref 維度 哈利 顧名思義，k均值聚類是一種對數據進行聚類的技術，即將數據分割成指定數量的幾個類，揭示數據的內在性質及規律。我們知道，在機器學習中，有三種不同的學習模式：監督學習、無監督學習和強化學習： 監督學習，也稱為

    第十篇：K均值聚類(KMeans)

    步驟 中國 小結 logo kmeans 實現 調整 r語言 img 前言 本文講解如何使用R語言進行 KMeans 均值聚類分析，並以一個關於人口出生率死亡率的實例演示具體分析步驟。 聚類分析總體流程 1. 載入並了解數據集；2. 調用聚類函數進行聚類

    K-均值聚類——電影類型

    vector awd cond image ida 描述 性能 def 其中 K-均值聚類 K-均值算法試圖將一系列樣本分割成K個不同的類簇（其中K是模型的輸入參數），其形式化的目標函數稱為類簇內的方差和（within cluster sum of squared err

    機器學習實戰筆記-利用K均值聚類算法對未標註數據分組

    通過IDEA及hadoop平臺實現k-means聚類算法

    綜合 tle tostring html map apache cnblogs cos textfile 有段時間沒有操作過，發現自己忘記一些步驟了，這篇文章會記錄相關步驟，並隨時進行補充修改。 1 基礎步驟，即相關環境部署及數據準備 數據文件類型為.csv文件，excel

    k-均值聚類

    str 數據集 clas 由於 body src lsp idt center K-均值聚類 　　k-均值（k-means Clustering）算法是著名的劃分聚類算法。由於他的簡潔和效率使得它成為所有聚類算法中最為廣泛使用的。 　　給定一個數據點集合和需要的聚類數目K（

    無監督學習——K-均值聚類算法對未標註數據分組

    機器學習算法 可能 變化 分類 結果 sts lis mat 得到 無監督學習 和監督學習不同的是，在無監督學習中數據並沒有標簽（分類）。無監督學習需要通過算法找到這些數據內在的規律，將他們分類。（如下圖中的數據，並沒有標簽，大概可以看出數據集可以分為三類，

    k均值聚類

    K均值聚類（K-means）和高斯混合聚類（Mixture of Gaussian Models）

    math del 一個 ans line k-均值聚類 初始化 gaussian 樣本 K-means算法流程 給定條件： ????example set: \((x_1, y_1), (x_2, y_2), \dots, (x_N, y_N)\) 初始化： ????K個簇

    機器學習實戰（Machine Learning in Action）學習筆記————06.k-均值聚類演算法（kMeans）學習筆記

    機器學習實戰（Machine Learning in Action）學習筆記————06.k-均值聚類演算法（kMeans）學習筆記關鍵字：k-均值、kMeans、聚類、非監督學習作者：米倉山下時間：2018-11-3機器學習實戰（Machine Learning in Action,@author: Pet

    ML09-K均值聚類

    基本含義： 將具有相似特性的資料點，分到同一個簇內，使得同簇之內的資料相較於簇外的資料更加的相似。 關鍵計算： 相似度度量的方法。計算同簇之內資料點之間的相似度，計算不同簇之間的相似度。 計算距離/相似度有很多的方法，在K均值聚類方法中，經常使用的是歐氏距離。