Preface
開了很多題，手稿都是寫好一直思考如何放到CSDN上來，一方面由於公司技術隱私，一方面由於面向物件不同，要大改，所以一直沒貼出完整，希望日後可以把開的題都補充全。

先把大綱列出來：

一、從狄多公主圈地傳說說起
二、譜聚類的演算
  （一）、演算
      1、譜聚類的概覽
      2、譜聚類構圖
      3、譜聚類切圖
        （1）、RatioCut
        （2）、Ncut
        （3）、一點題外話
  （二）、pseudo-code
三、譜聚類的實現(scala)
  （一）、Similarity Matrix
  （二）、kNN/mutual kNN
  （三）、Laplacian Matrix
  （四）、Normalized
  （五）、Eigenvector(Jacobi methond)
  （六）、kmeans/GMM
四、一些參考文獻
 

一、從狄多公主圈地傳說說起

       譜聚類（spectral clustering）的思想最早可以追溯到一個古老的希臘傳說，話說當時有一個公主，由於其父王去世後，長兄上位，想獨攬大權，便殺害了她的丈夫，而為逃命，公主來到了一個部落，想與當地的酋長買一塊地，於是將身上的金銀財寶與酋長換了一塊牛皮，且與酋長約定只要這塊牛皮所佔之地即可。聰明的酋長覺得這買賣可行，於是乎便答應了。殊不知，公主把牛皮撕成一條條，沿著海岸線，足足圍出了一個城市。
       故事到這裡就結束了，但是我們要說的才剛剛開始，狄多公主圈地傳說，是目前知道的最早涉及Isoperimetric problem（等周長問題）的，具體為如何在給定長度的線條下圍出一個最大的面積，也可理解為，在給定面積下如何使用更短的線條，而這，也正是譜圖聚類想法的端倪，如何在給定一張圖，拿出“更短”的邊來將其“更好”地切分。而這個“更短”的邊，正是對應了spectral clustering中的極小化問題，“更好”地切分，則是對應了spectral clustering中的簇聚類效果。
       譜聚類最早於1973年被提出，當時Donath 和 Hoffman第一次提出利用特徵向量來解決譜聚類中的f向量選取問題，而同年，Fieder發現利用倒數第二小的特徵向量，顯然更加符合f向量的選取，同比之下，Fieder當時發表的東西更受大家認可，因為其很好地解決了譜聚類極小化問題裡的NP-hard問題，這是不可估量的成就，雖然後來有研究發現，這種方法帶來的誤差，也是無法估量的，下圖是Fielder老爺子，於去年15年離世，緬懷。

二、譜聚類的演算

（一）、演算

1、譜聚類概覽

       譜聚類演化於圖論，後由於其表現出優秀的效能被廣泛應用於聚類中，對比其他無監督聚類（如kmeans），spectral clustering的優點主要有以下：

1.過程對資料結構並沒有太多的假設要求，如kmeans則要求資料為凸集。
2.可以通過構造稀疏similarity graph，使得對於更大的資料集表現出明顯優於其他演算法的計算速度。
3.由於spectral clustering是對圖切割處理，不會存在像kmesns聚類時將離散的小簇聚合在一起的情況。
4.無需像GMM一樣對資料的概率分佈做假設。
 

       同樣，spectral clustering也有自己的缺點，主要存在於構圖步驟，有如下：

1.對於選擇不同的similarity graph比較敏感（如 epsilon-neighborhood， k-nearest neighborhood，fully connected等）。
2.對於引數的選擇也比較敏感（如 epsilon-neighborhood的epsilon，k-nearest neighborhood的k，fully connected的 ）。

       譜聚類過程主要有兩步，第一步是構圖，將取樣點資料構造成一張網圖，表示為G(V,E)，V表示圖中的點，E表示點與點之間的邊，如下圖：
              
                            圖1 譜聚類構圖(來源wiki)
       第二步是切圖，即將第一步構造出來的按照一定的切邊準則，切分成不同的圖，而不同的子圖，即我們對應的聚類結果，舉例如下：
              
                            圖2 譜聚類切圖
       初看似乎並不難，但是…，下面詳細說明推導。

2、譜聚類構圖

       在構圖中，一般有三種構圖方式：
       1. ε-neighborhood
       2. k-nearest neighborhood
       3. fully connected
       前兩種可以構造出稀疏矩陣，適合大樣本的專案，第三種則相反，在大樣本中其迭代速度會受到影響制約，在講解三種構圖方式前，需要引入similarity function，即計算兩個樣本點的距離，一般用歐氏距離：si,j=∥∥xi−xj∥∥2, si,j表示樣本點xi與xj的距離，或者使用高斯距離si,j=e−∥∥xi−xj∥∥22σ2，其中σ 的選取也是對結果有一定影響，其表示為資料分佈的分散程度，通過上述兩種方式之一即可初步構造矩陣S:Si,j=[s]i,j，一般稱 為Similarity matrix(相似矩陣)。
       對於第一種構圖ε -neighborhood，顧名思義是取si,j≤ε的點，則相似矩陣S可以進一步重構為鄰接矩陣(adjacency matrix)W :

Wi,j={0,ifsi,j>εε,ifsi,j≤ε
       可以看出，在ε-neighborhood重構下，樣本點之間的權重沒有包含更多的資訊了。
       對於第二種構圖k-nearest neighborhood，其利用KNN演算法，遍歷所有的樣本點，取每個樣本最近的k個點作為近鄰，但是這種方法會造成重構之後的鄰接矩陣W非對稱，為克服這種問題，一般採取下面兩種方法之一：
       一是隻要點xi在xj的K個近鄰中或者xj在xi的K個近鄰中，則保留si,j，並對其做進一步處理W，此時 為：
Wi,j=Wj,i=⎧⎩⎨0,ifxi∉KNN(Xj)andxj∉KNN(Xi)e−∥∥xi−xj∥∥22σ2,ifxi∈KNN(Xj)orxj∈KNN(Xi)
       二是必須滿足點 在 的K個近鄰中且 在 的K個近鄰中，才會保留si,j並做進一步變換，此時W為：
Wi,j=Wj,i=⎧⎩⎨0,ifxi∉KNN(Xj)or

相關推薦

譜聚類（spectral clustering)及其實現詳解

Preface 開了很多題，手稿都是寫好一直思考如何放到CSDN上來，一方面由於公司技術隱私，一方面由於面向物件不同，要大改，所以一直沒貼出完整，希望日後可以把開的題都補充全。 先把大綱列出來： 一、從狄多公主圈地傳說說起 二、譜聚類的演算

譜聚類（Spectral Clustering）原理及Python實現

譜聚類原理及Python實現 圖模型   無向帶權圖模型 G=<V,E> G =< V ,

譜聚類（spectral clustering）

1. 譜聚類概述 譜聚類是從圖論中演化出來的演算法，後來在聚類中得到了廣泛的應用。它的主要思想是把所有的資料看做空間中的點，這些點之間可以用邊連線起來。距離較遠的兩個點之間的邊權重值較低，而距離較近的兩個點之間的邊權重值較高，通過對所有資料點組成的圖進行切圖，讓切圖後不同的子圖間邊權重和

譜聚類（spectral clustering）原理總結

　　　　譜聚類（spectral clustering）是廣泛使用的聚類演算法，比起傳統的K-Means演算法，譜聚類對資料分佈的適應性更強，聚類效果也很優秀，同時聚類的計算量也小很多，更加難能可貴的是實現起來也不復雜。在處理實際的聚類問題時，個人認為譜聚類是應該首先考慮的幾種演算法之一。下面我們就對譜聚類的

譜聚類（Spectral Clustering）演算法介紹

一. 前言 本來想寫關於聚類系列演算法的介紹，但是聚類系列的其它幾個演算法原理比較簡單，網上有大量的教程可以查閱。這裡主要是介紹一下譜聚類演算法，做一個學習筆記，同時也希望對想要了解該演算法的朋友有一個幫助。關於聚類的其他系列演算法，這裡推薦一個寫的很不錯的部落格。 譜聚

譜聚類演算法(Spectral Clustering)

    譜聚類(Spectral Clustering, SC)是一種基於圖論的聚類方法——將帶權無向圖劃分為兩個或兩個以上的最優子圖，使子圖內部儘量相似，而子圖間距離儘量距離較遠，以達到常見的聚類的目的。其中的最優是指最優目標函式不同，可以是割邊最小分割——如圖1的Smallest cut(如後文的M

譜聚類演算法(Spectral Clustering)優化與擴充套件

    譜聚類(Spectral Clustering, SC)在前面的博文中已經詳述，是一種基於圖論的聚類方法，簡單形象且理論基礎充分，在社交網路中廣泛應用。本文將講述進一步擴充套件其應用場景:首先是User-Item協同聚類，即spectral coclustering，之後再詳述譜聚類的進一步優化。

層次聚類（Hierarchical Clustering）

1、 層次聚類演算法概述 層次聚類演算法通過將資料組織成若干組並形成一個相應的樹狀圖來進行聚類, 它又可以分為兩類, 即自底向上的聚合層次聚類和自頂向下的分解層次聚類。聚合聚類的策略是先將每個物件各自作為一個原子聚類, 然後對這些原子聚類逐層進行聚合, 直至滿足一定的終止條件;後者則與前

基於聚類（Kmeans）演算法實現客戶價值分析系統(電信運營商)

開發環境 jupyter notebook 一、電信運營商–客戶價值分析 從客戶需求出發，瞭解客戶需要什麼，他們有怎麼樣的特徵， 電信運營商為客戶設定不同的優惠套餐 爭取更多的使用者：推出不同的優

聚類系列-層次聚類（Hierarchical Clustering）

    上篇k-means演算法卻是一種方便好用的聚類演算法，但是始終有K值選擇和初始聚類中心點選擇的問題，而這些問題也會影響聚類的效果。為了避免這些問題，我們可以選擇另外一種比較實用的聚類演算法-層次聚類演算法。顧名思義，層次聚類就是一層一層的進行聚類，可以由上向下把大的

機器學習——非監督學習——層次聚類（Hierarchical clustering）

1、層次聚類（Hierarchical clustering）的步驟 假設有N個待聚類的樣本，對於層次聚類來說，其步驟為： （1）初始化：把每個樣本各自歸為一類（每個樣本自成一類），計算每兩個類之間的距離，在這裡也就是樣本與樣本之間的相似度（本質還是計算類與類之間的距離）。

初識Python面向物件，父類與子類（繼承），例子詳解

簡明Python中的列子，自己理解註釋了一下：供參考 class schoolmember:#父類     def __init__(self,name,age):#物件建立時馬上對此物件初始化         self.name=name         self.ag

Python層次聚類sci.cluster.hierarchy.linkage函式詳解

1 函式原型：scipy.cluster.hierarchy.linkage(y, method='single', metric='euclidean', optimal_ordering=False)函式功能：進行層次聚類/凝聚聚類。引數：y: 可以是1維壓縮向量（距離向

譜聚類演算法及其程式碼（Spectral Clustering）

簡介 文章將介紹譜聚類（spectral clustering）的基本演算法，以及在matlab下的程式碼實現。介紹內容將包括： 從圖分割角度直觀理解譜聚類譜聚類演算法步驟資料以及實現程式碼 本文將不會涉及細節化的證明和推導，如有興趣可參考july大

Spectral Clustering（譜聚類）

譜聚類原理： 是一種基於圖論的聚類方法！！它將帶權無向圖劃分為兩個或兩個以上的最優子圖，使子圖內部相似，而子圖間相異，依然是很正統的聚類思想。這個思想乍看很簡單，怎麼度量相似？度量之後又如何進行劃分？ 相似度度量： 普通的kNN度量方法？相近則權重大，

【轉載】譜聚類(spectral clustering)

1. 譜聚類       給你部落格園上若干個部落格，讓你將它們分成K類，你會怎樣做？想必有很多方法，本文要介紹的是其中的一種——譜聚類。      聚類的直觀解釋是根據樣本間相似度，將它們分成不同組。譜聚類的思想是將樣本看作頂點，樣本間的相似度看作帶權的邊，從而將聚類問題轉為圖分割問題：找到一種圖分割的方

一趟聚類（One-pass Cluster）及python實現

最近在學資料探勘的相關基礎知識，希望對學習的內容進行整理，以下轉自很棒的師兄的部落格~ 一趟聚類簡介 一趟聚類演算法是由蔣盛益教授提出的無監督聚類演算法，該演算法具有高效，簡單的特點。資料集只需要遍歷一遍即可完成聚類。演算法對超球狀分佈的資料有良好的識別，對凸型資料分佈識別較差。 一

原型聚類（一）k均值演算法和python實現

原型聚類 原型聚類演算法假設聚類結構能通過一組原型刻畫，在現實聚類任務中極為常用。通常情形下，演算法先對原型進行初始化，然後對原型進行迭代更新求解。這裡的“原型”我認為實際上就是“原來的模型”，這類演算法企圖模擬出生成資料集的模型。 k均值演算法（k-means

原型聚類（二）學習向量量化（LVQ）和python實現

學習向量量化(Learning Vector Quantization,LVQ)和k-means類似，也屬於原型聚類的一種演算法，不同的是，LVQ處理的是有標籤的樣本集，學習過程利用樣本的標籤進行輔助聚類，個人感覺這個演算法更像是一個分類演算法。。。 若存在一個

譜聚類演算法入門教程（三）—— 求f^TLf的最小值

在上一篇部落格中，我們知道目標函式變為 argmin⁡f∈R6fTLfarg \min \limits_{f \in \R^6} f^TLfargf∈R6min​fTLf，即找到一個fff，使得 fTLff^TLffTLf 取得最小值 這篇部落格將通過求導的方