2. 程式人生 > >機器學習———聚類的效能度量指標與距離度量計算

機器學習———聚類的效能度量指標與距離度量計算

阿新 • • 發佈：2019-02-03

聚類，是無監督學習的代表，將資料集D劃分成了若干個不相交的子集，稱為簇，我們總體的目標是“簇間相似性越低越好，簇內相似性越高越好”。

1.效能度量指標——外部指標

外部指標：聚類結果與某個“參考模型”進行比較。

對資料集D=\left \{ \right.\begin{matrix} x_1 & x_2 & ... & x_m \end{matrix}\left. \right \},假設通過聚類劃分為C=\left \{ \right.\begin{matrix} C_1 & C_2 & ... & C_m \end{matrix}\left. \right \}，參考模型的劃分為：C^*=\left \{ \right.\begin{matrix} C^*_1 & C^*_2 & ... & C^*_m \end{matrix}\left. \right \},令\lambda和\lambda ^*分別表示C和C^*的標記。則令

a=\left | SS \right |, SS=\left \{ \lambda _i = \lambda_j, \lambda^*_i = \lambda^*_j, i<j \right \}

b=\left | SD \right |, SD=\left \{ \lambda _i = \lambda_j, \lambda^*_i \neq \lambda^*_j, i<j \right \}

c=\left | DS \right |, DS=\left \{ \lambda _i \neq \lambda_j, \lambda^*_i = \lambda^*_j, i<j \right \}

d=\left | DD \right |, DD=\left \{ \lambda _i \neq \lambda_j, \lambda^*_i \neq \lambda^*_j, i<j \right \}

可以看出a+b+c+d = m(m-1)/2

  • Jaccard係數(JC)                                   JC=\frac{a}{a+b+c}
  • FM指數(FMI)                                        FMI = \sqrt{\frac{a}{a+b}\frac{a}{a+c}}
  • Rand指數(RI)                                       RI=\frac{2(a+d)}{m(m-1)}

顯然，上述效能指標的都在[0,1]之內，且越大越好。

2. 幾個距離計算公式

定義dist(.,.)為某一個距離度量，給定樣本\mathbf{x_i}=(x_{i1};x_{i2};...x_{in})與\mathbf{x_j}=(x_{j1};x_{j2};...x_{jn})

  • 閔可夫斯基距離                                               dist_{mk}(x_i,x_j)=\left \| x_i-x_j \right \|_p=\left ( \sum |x_{iu}-x_{ju}|^p \right )^{\frac{1}{p}}
  • 歐式距離 (p=2)                                            dist_{ed}(x_i,x_j)=\left \| x_i-x_j \right \|_2=\left ( \sum |x_{iu}-x_{ju}|^2 \right )^{\frac{1}{2}}
  • 曼哈頓距離(p=1)                                         dist_{man}(x_i,x_j)=\left \| x_i-x_j \right \|_1= \sum |x_{iu}-x_{ju}|

以上三種距離可以進行有序屬性的劃分

  • Value Difference Metric(VDM)                       VDM_p(a,b)=\sum \left | \frac{m_{u,a,i}}{m_{u,a}} -\frac{m_{u,b,i}}{m_{u,b}} \right |

VDM可以進行無序屬性的劃分

  • Minkov_VDM                                              MinkovVDM_p(x_i,x_j)=(\sum |x_{iu}-x_{ju}|^p+\sum VDM_p(x_{iu},x_{ju}) )^\frac{1}{p}

閔可夫斯基距離與VDM的混合可以用於混合屬性。

當樣本空間的不同屬性重要性不同時，可以使用“加權距離”。

3.效能度量指標——內部指標

內部指標：直接考察聚類結果而不利用任何參考模型。

考慮到聚類結果的簇劃分C=\left \{ \right.\begin{matrix} C_1 & C_2 & ... & C_m \end{matrix}\left. \right \}，定義：

簇內樣本間的平均距離：               avg(C)=\frac{2}{|C|(|C|-1)}\sum _{1\leq i<j\leq |C|}dist(x_i,x_j) 

簇內樣本間的最遠距離：             diam(C)=max_{1\leq i<j\leq |C|} dist(x_i,x_j)

簇間樣本間的最短距離：            d_{min}(C_i,C_j)=min_{x_i \in C_i,x_j \in C_j}dist(x_i,x_j)

簇間樣本間中心點距離：           d_{cen}(C_i,C_j)=dist(\mu_{i},\mu_{j}),  其中，\mu=\frac{1}{|C|}\sum _{1\leq i\leq |C|}x_i,被稱作是簇C的樣本中心。

  • DB指數                         DBI=\frac{1}{k}\sum _1^k max_{j \neq i} (\frac{avg(C_i)+avg(C_j)}{d_{cen}(\mu_i,\mu_j)})
  • Dunn指數                    DB=\min_{1\leq i \leq k}\left \{ \min_{j \neq i} \left ( \frac{d_{min}(C_i,C_j)}{\max_{1\leq l\leq k}diam(C_l)} \right )\right \}

顯然，DBI越小越好，DB越大越好。

相關推薦

機器學習———聚類的效能度量指標與距離度量計算

聚類，是無監督學習的代表，將資料集D劃分成了若干個不相交的子集，稱為簇，我們總體的目標是“簇間相似性越低越好，簇內相似性越高越好”。 1.效能度量指標——外部指標 外部指標：聚類結果與某個“參考模型”進行比較。 對資料集,假設通過聚類劃分為，參考模型的劃分為：,令和分別

機器學習聚類演算法Kmeans與DBSCAN

自己對兩種聚類方法的一點理解。1. KMeans1.1 演算法概述Kmeans是一種劃分聚類的方法，基本K-Means演算法的思想很簡單，事先確定常數K，常數K意味著最終的聚類類別數，首先隨機選定初始點為質心，並通過計算每一個樣本與質心之間的相似度(這裡為歐式距離)，將樣本點

Python機器學習--聚類

-- 省份 kmean def 數據包 his import clas times K-means聚類算法 測試： # -*- coding: utf-8 -*- """ Created on Thu Aug 31 1

機器學習--聚類系列--K-means算法

工作 監督學習 相交 結果 最小化 graph 形狀 xmlns msu 一、聚類 　　聚類分析是非監督學習的很重要的領域。所謂非監督學習，就是數據是沒有類別標記的，算法要從對原始數據的探索中提取出一定的規律。而聚類分析就是試圖將數據集中的樣本劃分為若幹個不相交的子集，每個

機器學習--聚類系列--DBSCAN算法

都是 img 子集 sed 聚類 數據集 噪聲 屬於 算法 DBSCAN算法 　　基本概念:(Density-Based Spatial Clustering of Applications with Noise) 　　　　核心對象:若某個點的密度達到算法設定的閾值則其為核

機器學習--聚類系列--層次聚類

eight 尺度 borde 簡單 公司 span 一是 相似度 和數 層次聚類 　　層次聚類(Hierarchical Clustering)是聚類算法的一種，通過計算不同類別數據點間的相似度來創建一棵有層次的嵌套聚類樹。在聚類樹中，不同類別的原始數據點是樹的最低層，樹的

機器學習-聚類Clustering

簡介 前面介紹的線性迴歸，SVM等模型都是基於資料有標籤的監督學習方法，本文介紹的聚類方法是屬於無標籤的無監督學習方法。其他常見的無監督學習還有密度估計，異常檢測等。 聚類就是對大量未知標註的資料集，按照資料的內在相似性將資料集劃分為多個類別（在聚類演算法中稱為簇），使類別內的資料相似度高，二類別間的資料

機器學習-聚類演算法

在無監督學習中，我們的訓練集可以寫成只有 x (

機器學習 聚類(Clustering)____K-均值聚類演算法(K-means Clustering) 層次聚類(Hierarchical Clustering)

____tz_zs學習筆記聚類(Clustering) 顧名思義，就是將相似樣本聚合在一起，屬於機器學習中的非監督學習 (unsupervised learning) 問題。聚類的目標是找到相近的資料點，並將相近的資料點聚合在一起。實現聚類的演算法主要有：1.K-均值聚類演算

機器學習-聚類(層次聚類演算法)

一，介紹 層次聚類試圖在不同層次對資料集進行劃分。劃分方式可以採用“自底向上”的聚合策略，也可以採用“自頂向下”的分拆策略。 我們在這裡介紹其中一種：AGNES演算法。這是一種自底向上的層次類聚演算法。先將每個樣本都看成一個初始聚類簇，然後每次演算法找出最近的兩個聚類簇進

機器學習--聚類演算法

1、聚類演算法思想 聚類就是對大量未知標註的資料集，按照資料內部存在的資料特徵將資料集劃分為多個不同的類別，使類別內的資料比較相似，類別之間的資料相似度比較小，屬於無監督學習。聚類演算法的重點是計算樣本項之間的相似度，有時候也稱為樣本間的距離。 2、距離

python機器學習-聚類KMeans

基本原理 程式碼實現 先給出完整程式碼，再分別說明 #-*- coding:utf-8 import traceback from sklearn.cluster import KMeans import numpy as np import mat

機器學習聚類演算法——K-means聚類

k均值演算法 k-means聚類又稱k均值聚類。 給定N個數據點{xn→∈RM,n=1,⋯,N}，M是資料點的維度。現在希望把資料點聚類成K個簇。 演算法： (1)初始化：在給定的N個樣本中隨機選擇K個作為初始聚類中心 (2)更新劃分：對

機器學習——聚類（clustering）：K-means演算法（非監督學習）

1、歸類 聚類（clustering）：屬於非監督學習（unsupervised learning）,是無類別標記（class label） 2、舉例 3、K-means演算法 （1）K-means演算法是聚類（clustering）中的經典演算法，資料探勘的十大經典演算

機器學習 | 聚類分析總結 & 實戰解析

來源：DataGod 聚類分析是沒有給定劃分類別的情況下，根據樣本相似度進行樣本分組的一種方法，是一種非監督的學習演算法。聚類的輸入是一組未被標記的樣本，聚類根據資料自身的距離或相似度劃分為若干組，劃分的原則是組內距離最小化而組間距離最大化，如下圖所示： 常見的聚類分析演算法如下： K

機器學習--聚類分析（劃分方法，層次方法、密度方法）

本節學習聚類分析，聚類屬於無監督學習，其中聚類的方法有很多種常見的有K-means、層次聚類（Hierarchical clustering）、譜聚類（Spectral Clustering）等，在這裡，上來不會直接介紹這些理論，需要一些基礎知識鋪墊，和前面一樣，一上來就直接

機器學習——聚類演算法

本文主要講解的聚類演算法有：k均值演算法、均值漂移演算法、凝聚層次演算法、DBSCAN密度聚類演算法，還介紹了聚類演算法效能指標——輪廓係數。 　　聚類（cluster）與分類（class）不同，分類是有監督學習模型，聚類屬於無監督學習模型。聚類講究使用一些演算法把樣本劃分為n個群落

【機器學習】分類效能度量指標 : ROC曲線、AUC值、正確率、召回率、敏感度、特異度

在分類任務中，人們總是喜歡基於錯誤率來衡量分類器任務的成功程度。錯誤率指的是在所有測試樣例中錯分的樣例比例。實際上，這樣的度量錯誤掩蓋了樣例如何被分錯的事實。在機器學習中，有一個普遍適用的稱為混淆矩陣(confusion matrix)的工具，它可以幫助人們

聚類的評價指標（無監督學習）

詳細理論說明，可以檢視其他部落格： # coding:utf-8 from sklearn import metrics """ 聚類效能評估 """ """ 1、Adjusted Rand index (ARI) 優點：

機器學習-->無監督學習-->聚類

本篇博文將詳細總結機器學習裡面的一個很重要的內容-聚類。 聚類定義 定義 聚類就是對大量未知標註 的資料集，按資料 的內在相似性將資料集劃分為多個類別，使 類別內的資料相似度較大而類別間的資料相 似度較小。是無監督的分類方式。 聚類思想 給