DBSCAN聚類演算法三部分：

1、        DBSCAN原理、流程、引數設定、優缺點以及演算法；

2、        matlab程式碼實現；

3、        C++程式碼實現及與matlab例項結果比較。

DBSCAN(Density-based spatial clustering ofapplications with noise)是Martin Ester, Hans-PeterKriegel等人於1996年提出的一種基於密度的空間的資料聚類方法，該演算法是最常用的一種聚類方法[1,2]。該演算法將具有足夠密度區域作為距離中心，不斷生長該區域,演算法基於一個事實：一個聚類可以由其中的任何核心物件唯一確定

優點：

（1）聚類速度快且能夠有效處理噪聲點和發現任意形狀的空間聚類；

（2）與K-MEANS比較起來，不需要輸入要劃分的聚類個數；

（3）聚類簇的形狀沒有偏倚；

（4）可以在需要時輸入過濾噪聲的引數。

缺點：

（1）當資料量增大時，要求較大的記憶體支援I/O消耗也很大；

（2）當空間聚類的密度不均勻、聚類間距差相差很大時，聚類質量較差，因為這種情況下引數

（3）演算法聚類效果依賴與距離公式選取，實際應用中常用歐式距離，對於高維資料，存在“維數災難”。

基本概念[5]：如下基本概念在[6]中有更為詳細說明介紹。

（1）Eps鄰域：給定物件半徑Eps內的鄰域稱為該物件的Eps鄰域;

（2）核心點（core point）：如果物件的Eps鄰域至少包含最小數目MinPts的物件，則稱該物件為核心物件;

（3）邊界點（edge point）：邊界點不是核心點，但落在某個核心點的鄰域內;

（4）噪音點（outlier point）：既不是核心點，也不是邊界點的任何點;

（5）直接密度可達(directly density-reachable)

（6）密度可達(density-reachable)：如果存在一個物件鏈  p1, …,pi,.., pn，滿足p1 = p 和pn = q，pi是從pi+1關於Eps和MinPts直接密度可達的，則物件p是從物件q關於Eps和MinPts密度可達的;

（7）密度相連(density-connected)：如果存在物件O∈D，使物件p和q都是從O關於Eps和MinPts密度可達的，那麼物件p到q是關於Eps和MinPts密度相連的。

（8）類（cluster）:設非空集合,若滿足：，

（a），且從密度可達，那麼。（b）和密度相連。則稱構成一個類簇

有關核心點、邊界點、噪音點以及直接密度可達、密度可達和密度相連解釋如圖1[1]：

圖1紅色為核心點，黃色為邊界點，藍色為噪音點，minPts = 4，Eps是圖中圓的半徑大小有關“直接密度可達”和“密度可達”定義例項如圖2所示[5]：其中，Eps用一個相應的半徑表示，設MinPts=3，請分析Q,M,P,S,O,R這5個樣本點之間的關係。

圖2   “直接密度可達”和“密度可達”概念示意描述。根據前文基本概念的描述知道：由於有標記的各點­M、P、O和R的Eps近鄰均包含3個以上的點，因此它們都是核對象；M­是從P“直接密度可達”；而Q則是從­M“直接密度可達”；基於上述結果，Q是從P“密度可達”；但P從Q無法“密度可達”(非對稱)。類似地，S和R從O是“密度可達”的；O、R和S均是“密度相連”（對稱）的。

DBSCAN演算法原理[5]：

（1）DBSCAN通過檢查資料集中每點的Eps鄰域來搜尋簇，如果點p的Eps鄰域包含的點多於MinPts個，則建立一個以p為核心物件的簇；

（2）然後，DBSCAN迭代地聚集從這些核心物件直接密度可達的物件，這個過程可能涉及一些密度可達簇的合併；

（3）當沒有新的點新增到任何簇時，該過程結束。

有關演算法的虛擬碼wiki百科中給出了，[5]用中文描述了其流程：

DBSCAN演算法虛擬碼描述:

輸入：資料集D，給定點在鄰域內成為核心物件的最小鄰域點數：MinPts,鄰域半徑：Eps   

輸出：簇集合

(1) 首先將資料集D中的所有物件標記為未處理狀態
(2) for（資料集D中每個物件p） do
(3)    if （p已經歸入某個簇或標記為噪聲） then
(4)         continue;
(5)    else
(6)         檢查物件p的Eps鄰域 NEps(p) ；
(7)         if (NEps(p)包含的物件數小於MinPts) then
(8)                  標記物件p為邊界點或噪聲點；
(9)         else
(10)                 標記物件p為核心點，並建立新簇C, 並將p鄰域內所有點加入C
(11)                 for (NEps(p)中所有尚未被處理的物件q)  do
(12)                       檢查其Eps鄰域NEps(q)，若NEps(q)包含至少MinPts個物件，則將NEps(q)中未歸入任何一個簇的物件加入C；
(13)                 end for
(14)        end if
(15)    end if
(16) end for

DBSCAN(D, eps, MinPts) {
   C = 0
   foreach point P in dataset D {
      ifP is visited
        continue next point
     mark P as visited
      NeighborPts = regionQuery(P, eps)
      ifsizeof(NeighborPts) < MinPts
        mark P as NOISE
     else {
        C = next cluster
        expandCluster(P, NeighborPts, C, eps, MinPts)
      }
   }
}
 
expandCluster(P, NeighborPts, C, eps, MinPts) {
   add Pto cluster C
   foreach point P' in NeighborPts {
      ifP' is not visited {
        mark P' as visited
        NeighborPts' = regionQuery(P', eps)
        if sizeof(NeighborPts') >= MinPts
           NeighborPts = NeighborPts joined with NeighborPts'
      }
      ifP' is not yet member of any cluster
        add P' to cluster C
   }
}
 
regionQuery(P, eps)
   returnall points within P's eps-neighborhood (including P)

時間複雜度：

（1）DBSCAN的基本時間複雜度是 O(N*找出Eps領域中的點所需要的時間), N是點的個數。最壞情況下時間複雜度是O(N2)

（2）在低維空間資料中,有一些資料結構如KD樹，使得可以有效的檢索特定點給定距離內的所有點，時間複雜度可以降低到O(NlogN)

空間複雜度：低維和高維資料中，其空間都是O(N)，對於每個點它只需要維持少量資料，即簇標號和每個點的標識(核心點或邊界點或噪音點)

引數設定：DBSCAN共包括3個輸入資料：資料集D，給定點在鄰域內成為核心物件的最小鄰域點數：MinPts,鄰域半徑：Eps，其中Eps和MinPts需要根據具體應用人為設定。

(1)  Eps的值可以使用繪製k-距離曲線(k-distance graph)方法得當，在k-距離曲線圖明顯拐點位置為對應較好的引數。若引數設定過小，大部分資料不能聚類；若引數設定過大，多個簇和大部分物件會歸併到同一個簇中。

K-距離：K距離的定義在DBSCAN演算法原文中給出了詳細解說，給定K鄰域引數k,對於資料中的每個點，計算對應的第k個最近鄰域距離，並將資料集所有點對應的最近鄰域距離按照降序方式排序，稱這幅圖為排序的k距離圖，選擇該圖中第一個谷值點位置對應的k距離值設定為Eps。一般將k值設為4。原文如下[2]：

(2)  MinPts的選取有一個指導性的原則（a rule of thumb），MinPts≥dim+1,其中dim表示待聚類資料的維度。MinPts設定為1是不合理的，因為設定為1，則每個獨立點都是一個簇，MinPts≤2時，與層次距離最近鄰域結果相同，因此，MinPts必須選擇大於等於3的值。若該值選取過小，則稀疏簇中結果由於密度小於MinPts，從而被認為是邊界點兒不被用於在類的進一步擴充套件；若該值過大，則密度較大的兩個鄰近簇可能被合併為同一簇。因此，該值是否設定適當會對聚類結果造成較大影響。

參考資料：

[2]Ester,Martin;Kriegel, Hans-Peter; Sander,Jörg; Xu, Xiaowei (1996). Simoudis, Evangelos; Han, Jiawei; Fayyad, Usama M.,eds.Adensity-based algorithm for discovering clusters in large spatial databaseswith noise. Proceedings of the Second International Conference on KnowledgeDiscovery and Data Mining (KDD-96).AAAI Press.pp. 226–231.CiteSeerX10.1.1.121.9220.ISBN1-57735-004-9.

[3] 各種聚類演算法的比較