1. FCM初識

FCM的C跟K-Means的K是一樣的，指的是聚類的數目。F—Fuzzy是模糊的意思，指的是”一個事件發生的程度“。用在我們的聚類上面，第一條記錄以怎樣的概率或者說程度屬於第一類，又以怎樣的程度屬於第二類等等。跟傳統的聚類有所區別的地方就是，他改變了傳統分類的時候非此即彼的一個現象，一個物件可以以不同的程度同時屬於多個類。這個其實是跟我們的現實世界是更契合的。比如說，“禿與不禿”，一個人有多少髮量就說他是禿的，下面這幾張圖：

究竟那幾個可以分成：禿“，這個就具有一定的模糊性。

所以說，”模糊“概念的提出，更能描述現實。

模糊的程度我們用模糊函式來衡量他表示的是集合X中的元素x對集合A的隸屬程度。

2.FCM演算法

作為一個演算法，FCM的輸入就是一個待聚類的資料集，每一個數據都有p個特徵。它的輸出是一個c行n列的矩陣U，c剛才提到是聚類數目，n是資料集中元素的個數，用這個矩陣就可以表示分類的結果，因為你看某一列，表示的就是這個元素對各個類的隸屬程度，哪一個值最大，就說這個元素屬於哪一類。

還有一個輸出是各個類的聚類中心向量集合V，一共有c個元素。每個元素也是有p維的。

舉個例子，直觀感受一下，比如現在待分類的資料集有188個點，每個點是二維的，我們要把他分成4類，通過FCM演算法得到的輸出V就是下面第一張圖表示這

那我們怎麼實現這樣的結果呢？FCM有他自己的目標函式[1]，

μij指的就是隸屬度值，元素j對類別i的隸屬程度，dij平方指的就是歐氏距離下元素j跟中心點i之間的距離，整個表示的就是各個點到各個類的加權距離的和。

m是一個模糊化程度的引數，待會我們會提到它對演算法效能的影響。這個演算法有一個約束條件，就是某一個元素對所有類別的隸屬程度的值加起來要等於1.

聚類要達到的最終效果就是類內相似度最小，類間相似度最大，這個時候點和中心的加權距離之和就是最小的。所以我們我們只要使得目標函式取得最小值就可以了。所以最優解的的表示式就是：

對於有約束條件的求極值問題，一般使用拉格朗日乘子法解決。先構造拉格朗日函式：

函式中共有三個變數，μij, vi, 和（lambda)j，分別求偏導

得到U和V的最優解

演算法的步驟

• 初始化

             設定聚類個數c (1<c<n), 模糊指數m(m>1)，最大迭代數T，收斂的精度ε，用隨機數初始化隸屬度矩陣U(0)

• 優化過程         

             計算類中心

• 重複優化過程，直到滿足如下的終止條件      

3. 引數的選擇

前面提到，在應用FCM對給定資料集進行聚類分析時，需要涉及兩個引數的選取問題：c和m。只有選取正確了才能得到好的聚類效果。所以說怎樣選取好的引數是關鍵所在。

3.1   聚類數目c的選擇

對c的選取我們有一個評價指標，就是L(c)這個函式，分子表示的是類間距離之和，分母表示的是類內間距之和，因此整個L的值就越大越好。

下面四個圖是論文[2]裡面對不同的c做的一個實驗，表格第一行指的是最佳的分類數目，第二行是L函式對不同分類數目的值，可以看到用L函式就可以選擇出最佳的c。

3.2   模糊係數m的選擇

另外，目標函式裡面的m值也是需要我們確定好的。那這個m值我們怎樣選擇呢，首先m代表的是模糊C平均演算法的模糊係數，它可以影響分類的準確程度。

我們看下面四張圖，第一個圖是原始的資料集，我們給定c等於9,2，3,4這三個圖裡我們只給出中心向量，當m=1.2的時候，這9個點比較分散，這樣就會受噪聲點的影響比較大，遠離了我們的主流，而當m=3.5的時候這些點又比較集中，對偏離主流的點的控制力又比較弱。

References

[1] J.Bezdek,“Cluster validity with fuzzy sets”, Cybernetics and Systems, 1973

[2] “FCM演算法中引數優選方法及應用例項”