2. 程式人生 > >K-means和K-medoids

K-means和K-medoids

阿新 • • 發佈：2019-01-01
聚類問題是將一組物件分成若干個群體，每個群體構成一個簇，使得簇內的物件儘可能具有最大的相似性，不同簇之間的物件儘可能有最大的相異性，聚類過程是一個尋找最優劃分的過程，即根據聚類質量的評價準則或方法不斷對劃分進行優化，最終得到最優解。由於聚類是無指導的學習過程事先對資料的結構是未知的，因此，最終的聚類結果都需要進行有效性驗證和質量評價。
一般來說  評價聚類和選擇最優聚類模式的原則有兩個：緊密度，即簇中的成員必須儘可能地相互靠近。分離度，簇與簇之間的距離儘可能地遠。大多數評價聚類質量的方法都是基於這兩個原則。 K-means演算法通過計算一類記錄的均值來代表該類，但是受異常值或極端值的影響比較大。
和K-means比較相似另一種演算法K-medoids，它通過中心點的迭代輪換及最小化類內差異完成資料物件聚類。首先隨機初始中心，然後將其餘物件分配給最近的簇;在反覆用非中心點來替代中心點後重復分配過程，以提高聚類質量至聚類質量不再變化。而在K-means中，我們將中心點取為當前cluster中所有資料點的平均值。如下圖所示，在K-medoids中，需要計算每一個未被選中的資料點h和選中的資料點i的交換代價TCih，如果TCih<0，就用h替換。其中TCih= Cjih，Cjih = d(j, h) - d(j, i)。
K-means 和 K-medoids 之間的差異就類似於一個數據樣本的均值和中位數之間的差異：前者的取值範圍可以是連續空間中的任意值，而後者只能在給樣本給定的那些點裡面選。
K-means 對資料的要求太高了，它使用歐氏距離描述資料點之間的差異，從而可以直接通過求均值來計算中心點，但是這要求資料點處在一個歐氏空間之中。然而並不是所有的資料都能滿足這樣的要求，對於數值型別的特徵，比如畫素點，可以很自然地用這樣的方式來處理，但是類別型別的特徵就不行，比如對電影進行聚類，兩部電影相減的平方就沒有意義。另外，K-means必須有如下三個條件保證： 1、所有的屬性或者變數的方差分佈是球形的； 2、所有的變數都有相同的方差； 3、所有k個聚類的先驗概率是相同的，即每個聚類中的觀測點個數大致相同； 下面給出K-means的R程式碼 
> iris2  <-  iris
> iris2$Species  <-  NULL
> kmeans.result  <-  kmeans(iris2,  3)
> kmeans.result
K-means clustering with 3 clusters of sizes 62, 50, 38

Cluster means:
  Sepal.Length Sepal.Width Petal.Length Petal.Width
1     5.901613    2.748387     4.393548    1.433871
2     5.006000    3.428000     1.462000    0.246000
3     6.850000    3.073684     5.742105    2.071053

Clustering vector:
  [1] 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
 [37] 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 [73] 1 1 1 1 1 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 3 1 3 3 3 3 1 3
[109] 3 3 3 3 3 1 1 3 3 3 3 1 3 1 3 1 3 3 1 1 3 3 3 3 3 1 3 3 3 3 1 3 3 3 1 3
[145] 3 3 1 3 3 1

Within cluster sum of squares by cluster:
[1] 39.82097 15.15100 23.87947
 (between_SS / total_SS =  88.4 %)

Available components:

[1] "cluster"      "centers"      "totss"        "withinss"    
[5] "tot.withinss" "betweenss"    "size"         "iter"        
[9] "ifault"      
>  table(iris$Species,  kmeans.result$cluster)
            
              1  2  3
  setosa      0 50  0
  versicolor 48  0  2
  virginica  14  0 36
> plot(iris2[c("Sepal.Length",  "Sepal.Width")],  col  =  kmeans.result$cluster)
> points(kmeans.result$centers[,c("Sepal.Length",  "Sepal.Width")],  col  =  1:3,
+        pch = 8,  cex=2)

下面給出K-medoids的R程式碼： PAM (Partitioning Around Medoids)是K-medoids常用的演算法。
 
> library(fpc)
> pamk.result  <-  pamk(iris2)
> #  number  of  clusters
> pamk.result$nc
[1] 2
> #  check  clustering  against  actual  species
> table(pamk.result$pamobject$clustering,  iris$Species)
   
    setosa versicolor virginica
  1     50          1         0
  2      0         49        50
> layout(matrix(c(1,2),1,2))  #  2  graphs  per  page
> plot(pamk.result$pamobject)
參考資料：

相關推薦

K-means和K-medoids

聚類問題是將一組物件分成若干個群體，每個群體構成一個簇，使得簇內的物件儘可能具有最大的相似性，不同簇之間的物件儘可能有最大的相異性，聚類過程是一個尋找最優劃分的過程，即根據聚類質量的評價準則或方法不

K-means 和 K-medoids演算法聚類分析

 1    聚類是對物理的或者抽象的物件集合分組的過程，聚類生成的組稱為簇，而簇是資料物件的集合。         （1）簇內部的任意兩個物件之間具有較高的相似度。（2）屬於不同的簇的兩個物件間具有較高的相異度。  2    相異度可以根據描述物件的屬性值來計算，最常用的度

k-means++和k-means||

一、k-means演算法缺點: 1、需要提前指定k 2、k-means演算法對初始化非常敏感 k-means++主要用來解決第二個缺點 二、k-means++演算法原理分析 k-means++演算法選

K-means和K-means++的演算法原理及sklearn庫中引數解釋、選擇

前言： 　　這篇博文主要介紹k-means聚類演算法的基本原理以及它的改進演算法k-means的原理及實現步驟，同時文章給出了sklearn機器學習庫中對k-means函式的使用解釋和引數選擇。 K-means介紹： 　　K-means演算法是很典型的

K-means和K-中心點演算法

K-means和K-中心點演算法 k-means演算法 在聚類的演算法中這個演算法比較常用,首先是將資料集中的每一條資料想象稱為超空間中的一個點,因為通常資料不只是只有三個特徵屬性,當超過三個特徵屬性之後就難以在座標空間中進行表示,所以這裡統一的稱為超空間 先確立一些比較重要的思

4. K-Means和K-Means++實現

初始 inline 第一個 new 修改 selected 加速 machine mage 1. K-Means原理解析 2. K-Means的優化 3. sklearn的K-Means的使用 4. K-Means和K-Means++實現 1. 前言 前面3篇K-Means

K-means和K-means++演算法程式碼實現（Python）

K-means和K-means++主要區別在於，K-means++演算法選擇初始類中心時，儘可能選擇相距較遠的類中心，而K-means僅僅是隨機初始化類中心。 #K-means演算法 from pylab import * from numpy import * impo

K-means和PAM聚類演算法Python實現及對比

K-means（K均值劃分）聚類：簡單的說，一般流程如下：先隨機選取k個點，將每個點分配給它們，得到最初的k個分類；在每個分類中計算均值，將點重新分配，劃歸到最近的中心點；重複上述步驟直到點的劃歸不再改變。下圖是K-means方法的示意。 PAM

【2】機器學習之兄弟連：K近鄰和K-means

關鍵詞：從K近鄰到最近鄰，監督學習，資料帶lable，效率優化（從線性搜尋到kd樹搜尋），缺點是需要儲存所有資料，空間複雜度大。可以利用kd數來優化k-means演算法。 學習了kNN和K-means演算法後，仔細分析比較了他們之間的異同以及應用場景總結成此文供讀者參

[python] 基於k-means和tfidf的文字聚類程式碼簡單實現

俗話說“外行看熱鬧，內行看門道“，作為一個機器學習的門外漢，剛研究python機器學習scikit-learn兩週時間，雖然下面這段程式可能對於那些專研演算法或機器學習的人來說非常簡單，但對於一些入門的同學和我自己還是非常有幫助的。如果文章中有錯誤或不足之處，還請你微微一笑

機器學習實戰（九）K-means（K-均值）

目錄 0. 前言 1. K-means 2. K-means的後處理 3. 二分K-means 4. K 的選擇 5. 實戰案例 5.1. 原始K-means 5.2. 二分

機器學習 - K-Means、K-Means++ 以及 ISOData

機器學習 - K-Means、K-Means++ 以及 ISOData K-Means K-Means++ ISOData K-Means 與 KNN 比較 K-Means、K-

【機器學習實戰】第10章 K-Means（K-均值）聚類演算法

第 10章K-Means（K-均值）聚類演算法 K-Means 演算法 聚類是一種無監督的學習, 它將相似的物件歸到一個簇中, 將不相似物件歸到不同簇中. 相似這一概念取決於所選擇的相似度計算方法. K-Means 是發現給定資料集的 K 個簇的聚類演算法, 之

KNN和K-Means的區別

nbsp 區別 top tab 固定 knn sed 監督學習 屬於 KNN和K-Means的區別 KNN K-Means 1.KNN是分類算法 2.監督學習 3.餵給它的數據集是帶label的數據，已經是完全正確的數據 1.K-Means是

【轉】使用scipy進行層次聚類和k-means聚類

歐氏距離 generate https then con method 感覺 long average scipy cluster庫簡介 scipy.cluster是scipy下的一個做聚類的package, 共包含了兩類聚類方法: 1. 矢量量化(scipy.cluste

K均值聚類（K-means）和高斯混合聚類（Mixture of Gaussian Models）

math del 一個 ans line k-均值聚類 初始化 gaussian 樣本 K-means算法流程 給定條件： ????example set: \((x_1, y_1), (x_2, y_2), \dots, (x_N, y_N)\) 初始化： ????K個簇

數學模型：3.非監督學習--聚類分析 和K-means聚類

rand tar 聚類分析 復制 clust tle 降維算法 generator pro 1. 聚類分析 聚類分析（cluster analysis）是一組將研究對象分為相對同質的群組（clusters）的統計分析技術 ---->> 將觀測對象的群體按照

k-means方法解釋和具體實現

vpd type ros 列數 roi elf 閾值 自動 print k-means方法實現流程：輸入：k, data[n];（1） 選擇k個初始中心點，例如c[0]=data[0],…c[k-1]=data[k-1];（2） 對於data[0]….data[n], 分別

K-means演算法和KNN演算法

github: 智慧演算法的課件和參考資料以及實驗程式碼   K-means是最為常用的聚類演算法，該演算法是將相似的樣本歸置在一起的一種無監督演算法。採用距離作為相似性的評價指標，即認為兩個物件的距離越近，其相似度就越大。 演算法主要步驟可描述如下： &nb

聚類分析(K-means 層次聚類和基於密度DBSCAN演算法三種實現方式)

之前也做過聚類，只不過是用經典資料集，這次是拿的實際資料跑的結果，效果還可以，記錄一下實驗過程。 首先： 確保自己資料集是否都完整，不能有空值，最好也不要出現為0的值，會影響聚類的效果。 其次： 想好要用什麼演算法去做，K-means，層次聚類還是基於密