2. 程式人生 > >機器學習學習筆記 第二十章 聚類演算法-DBSCAN

機器學習學習筆記 第二十章 聚類演算法-DBSCAN

阿新 • • 發佈：2019-01-02

聚類演算法-DBSCAN

Density-Based Spatial Clustering of Applications with Noise

基本概念：

  • 核心物件：若某個點的密度達到演算法設定的閾值則其為核心點。
    • 相當於在r的鄰域內點的數量不小於我們設定的閾值
  • ϵ-鄰域的距離閾值是我們設定的半徑r
  • 直接密度可達：若某點p在點q的 r 鄰域內，且q是核心點則p-q直接密度可達。
  • 密度可達：若有一個點的序列q0、q1、…qk，對任意qi~qi-1是直接密度可達的 ，則稱從q0到qk密度可達，這實際上是直接密度可達的“傳播”。
  • 密度相連：若從某核心點p出發，點q和點k都是密度可達的 ,則稱點q和點k是密度相連的。
  • 邊界點:屬於某一個類的非核心點,不能發展下線了
  • 噪聲點：不屬於任何一個類簇的點，從任何一個核心點出發都是密度不可達的
    • 相當於某個點距離有點遠，可以理解成是沒有用的干擾點
      1
  • 上圖中，點的分類分別是：
    1. A——核心物件
    2. B，C——邊界點：因為這兩個點不能再發展下線了
    3. N——離群點：因為這個點所代表的這一片區域再也找不到其他點了，離群了

工作流程：

所需引數

  • 引數D：所需資料集
  • 引數ϵ：指定的半徑
  • MinPts：密度閾值

詳細流程

for（資料集D中每個物件p） do
   if （p已經歸入某個簇或標記為噪聲） then
        continue;
   else
        檢查物件p的Eps鄰域 NEps(p) ；
        if (NEps(p)包含的物件數小於MinPts) then
                標記物件p為邊界點或噪聲點；
        else
                標記物件p為核心點，並建立新簇C, 並將p鄰域內所有點加入C
                for (NEps(p)中所有尚未被處理的物件q)  do
                       檢查其Eps鄰域NEps(q)，若NEps(q)包含至少MinPts個物件，則將NEps(q)中未歸入任何一個簇的物件加入C；
                end for
        end if
    end if
end for
來自：https://blog.csdn.net/zhouxianen1987/article/details/68945844

引數的選擇：

  • 半徑ϵ：可以根據K距離來設定：找突變點 K距離：給定資料集P={p(i); i=0,1,…n}，計算點P(i)到集合D的子集S中所有點 之間的距離，距離按照從小到大的順序排序，d(k)就被稱為k-距離
  • MinPts：k-距離中k的值，一般取的小一些，多次嘗試

總而言之，上面的都要多次嘗試

優勢劣勢

優勢

  1. 不需要指定簇的個數，演算法會分配好的
  2. 可以發現任意形狀的簇，這是比K-MEANS強大很多的地方
  3. 擅長找到離群點，演算法會檢測出來的
  4. 我們提供兩個引數就夠了，不用過度費腦

劣勢：

  1. 高維度的資料處理還是有些困難
  2. 引數難以選擇（引數對結果影響很大）
  3. 在sklearn中執行效率比較慢（可以採用資料削減策略）

推薦一個視覺化展示的一個網站，這個網站演示了DBSCAN演算法的一個工作流程

我們要多多嘗試不同的半徑和不同的minpoints，仔細研究這兩個因素對分類結果的影響

對唐宇迪老師的機器學習教程進行筆記整理
編輯日期：2018-10-12
小白一枚，請大家多多指教

相關推薦

機器學習學習筆記 第二十章 聚類演算法-DBSCAN

聚類演算法-DBSCAN Density-Based Spatial Clustering of Applications with Noise 基本概念： 核心物件：若某個點的密度達到演算法設定的閾

機器學習學習筆記 第十九章 聚類演算法-K-MEANS

聚類演算法 聚類的概念： 主要用來處理無監督問題，因為我們手上沒有標籤了，靠電腦自己進行分類 聚類是指把相似的東西分到一組 難點 如何評估呢（因為沒有了標籤，難以對比正確與否，很多評估方法失效了）

機器學習實戰筆記-利用K均值聚類算法對未標註數據分組

機器學習實戰（Machine Learning in Action）學習筆記————06.k-均值聚類演算法（kMeans）學習筆記

機器學習實戰（Machine Learning in Action）學習筆記————06.k-均值聚類演算法（kMeans）學習筆記關鍵字：k-均值、kMeans、聚類、非監督學習作者：米倉山下時間：2018-11-3機器學習實戰（Machine Learning in Action,@author: Pet

吳恩達機器學習 筆記八 K-means聚類演算法

1. 代價函式   K-means演算法是比較容易理解的，它屬於無監督學習方法，所以訓練樣本資料不再含有標籤。我們假設有樣本資料x(1),x(2),⋯,x(m)x(1),x(2),⋯,x(m)，我們選擇設定KK個聚類中心u1,u2,⋯,uKu1,u2,⋯,uK

C++ primer學習筆記——第十章 泛型演算法

標準庫容器定義的操作集合驚人的小。標準庫並未給每個容器新增大量功能，而是提供了一組演算法，這些演算法中的大多數都獨立於任何特定的容器。這些演算法是通用的（generic，或稱泛型的）：它們可以用於不同型別的容器和不同型別的元素 一、概述 大多數演算法都定義在標頭檔案alg

機器學習筆記（九）聚類演算法及實踐（K-Means,DBSCAN,DPEAK,Spectral_Clustering）

這一週學校的事情比較多所以拖了幾天，這回我們來講一講聚類演算法哈。 首先，我們知道，主要的機器學習方法分為監督學習和無監督學習。監督學習主要是指我們已經給出了資料和分類，基於這些我們訓練我們的分類器以

《機器學習實戰》學習筆記———利用K-均值聚類演算法對未標註資料分組

引言 K-均值演算法試圖將一系列樣本分割成K個不同的類簇（其中K是模型的輸入引數），其形式化的目標函式稱為類簇內的方差和（within cluster sum of squared errors，WCSS）。K-均值聚類的目的是最小化所有類簇中的

ML-61: 機器學習之K均值(K-Means)聚類演算法含原始碼

機器學習之K均值聚類演算法1 演算法原理2 演算法例項3 典型應用參考資料 機器學習分為監督學習、無監督學習和半監督學習(強化學習)。無監督學習最常應用的場景是聚類(clustering)和降維(dimension reduction)。聚類演算法包括：K均值

MatLab建模學習筆記14——K-Means聚類演算法

網際網路的發展帶動雲端計算、虛擬化、大資料等IT新技術的興起，各行各業的網際網路化日趨明顯。其中大資料的興起和發展壯大成為了IT時代或者說資訊時代最為典型的特徵之一。僅就大資料本身而言，其本身就具有資料體積大、資料多樣性、價值密度低、資料更新快等特點。所以，要想

機器學習（二）——K均值聚類演算法（K-means）

概述： 1.聚類 “類”指的是具有相似性的集合。聚類是指將資料集劃分為若干類，使得類內之間的資料最為相識，各類之間的資料相似度差別儘可能大。聚類分析就是以相似性為基礎，對資料集進行聚類分析，屬於無監督學習。 2.無監督學習和監督學習 k-均值聚類（k-means）與k-近鄰（knn）

簡單易學的機器學習演算法——基於密度的聚類演算法DBSCAN

%% DBSCAN clear all; clc; %% 匯入資料集 % data = load('testData.txt'); data = load('testData_2.txt'); % 定義引數Eps和MinPts MinPts = 5; Eps = epsilon(data, MinPts)

C++筆記 第二十六課 類的靜態成員函式---狄泰學院

如果在閱讀過程中發現有錯誤，望評論指正，希望大家一起學習，一起進步。 學習C++編譯環境：Linux 第二十六課 類的靜態成員函式 1.未完成的需求 統計在程式執行期間某個類的物件數目 保證程式的安全性（不能使用全域性變數） 隨時可以獲取當前物件的數目（Failure）

C++筆記 第二十五課 類的靜態成員變數---狄泰學院

如果在閱讀過程中發現有錯誤，望評論指正，希望大家一起學習，一起進步。 學習C++編譯環境：Linux 第二十五課 類的靜態成員變數 1.成員變數的回顧 通過物件名能夠訪問public成員變數 每個物件的成員變數都是專屬的 成員變數不能在物件之間共享 2.新的需求 統計

C++筆記 第二十九課 類中的函式過載---狄泰學院

如果在閱讀過程中發現有錯誤，望評論指正，希望大家一起學習，一起進步。 學習C++編譯環境：Linux 第二十九課 類中的函式過載 1.函式過載回顧 函式過載的本質為相互獨立的不同函式 C++中通過函式名和函式引數確定函式呼叫 無法直接通過函式名得到過載函式的入口地址 函式過載

【無監督學習】1：K-means聚類演算法原理

前言：粗略研究完神經網路基礎——BP、CNN、RNN、LSTM網路後自己算是鬆懈了很多，好長的時間都沒有堅持再更新部落格了。“腐敗”生活了這麼久，還是要找到自己一點樂趣吧，於是想了一想，決定把《機器學習》的演算法研究過得都重新梳理一遍，於是就從無監督學習——聚類

【無監督學習】3：Density Peaks聚類演算法實現（區域性密度聚類演算法）

前言：密度峰聚類演算法和DBSCAN聚類演算法有相似的地方，兩者都是基於密度的聚類方式。自己是在學習無監督學習過程中，無意間見到介紹這種聚類演算法的文章，感覺密度峰聚類演算法方法很新奇，操作也很簡答，於是自己也動手寫一下了。 –—-—-—-—-—-—-—-—-

【原創】演算法分享（5）聚類演算法DBSCAN

簡介 DBSCAN：Density-based spatial clustering of applications with noise is a data clustering algorithm proposed by Martin Ester, Hans-Peter

R聚類演算法-DBSCAN演算法

DBSCAN演算法（Density-Based Spatial Clustering of Application with Noise）密度聚類演算法 基於密度的聚類演算法，K-means和層次聚

基於密度的聚類演算法(DBSCAN)的java實現

         k-means和EM演算法適合發現凸型的聚類（大概就是圓形，橢圓形比較規則的類），而對於非凸型的聚類，這兩種方法就很難找到準確的聚類了。比如如下圖：         可能來自不同類的點反而比來自相同類的點還要靠的更近。   太多的原理和演算法介紹，大家可