EM 演算法-對鳶尾花資料進行聚類
阿新 • • 發佈：2020-12-14
> **公號：碼農充電站pro**
> **主頁：**
之前介紹過[K 均值演算法](https://www.cnblogs.com/codeshell/p/14084190.html)，它是一種聚類演算法。今天介紹**EM 演算法**，它也是聚類演算法，但比**K 均值**演算法更加靈活強大。
**EM** 的全稱為 **Expectation Maximization**，中文為**期望最大化**演算法，它是一個不斷**觀察和調整**的過程。
### 1，和麵過程
我們先來看一下和麵的過程。
通常情況下，如果你事先不知道面與水的比例，和麵過程可能是下面這樣：
1. 先放入一些面和水。
2. 將麵糰揉拌均勻。
3. 觀察麵糰的稀稠程度：如果麵糰比較稀，則加入少許面；如果麵糰比較稠，則加入少許水。
4. 如此往復第2，3步驟，直到麵糰的稀稠程度達到預期。
這個和麵過程，就是一個**EM** 過程：
- 先加入一些面和水，將麵糰揉拌均勻，並觀察麵糰的稀稠程度。這是**E** 過程。
- 不斷的加入水和麵（調整水和麵的比例），直到達到預期麵糰程度。這是**M** 過程。
### 2，再看K 均值演算法
在介紹[K 均值](https://www.cnblogs.com/codeshell/p/14084190.html) 聚類演算法時，展示過一個給二維座標點進行聚類的例子。
我們再來看一下這個例子，如下圖：
上圖是一個聚類的過程，共有6 個步驟：
1. 初始時散點（綠色點）的分佈。
2. 隨機選出兩個中心點的位置，`紅色x` 和`藍色x`。
3. 計算所有散點分別到`紅色x` 和`藍色x`的距離，距離`紅色x` 近的點標紅色，距離`藍色x`近的點標藍色。
4. 重新計算兩個中心點的位置，兩個中心點分別移動到新的位置。
5. 重新計算所有散點分別到`紅色x` 和`藍色x`的距離，距離`紅色x` 近的點標紅色，距離`藍色x`近的點標藍色。
6. 再次計算兩個中心點的位置，兩個中心點分別移動到新的位置。中心點的位置幾乎不再變化，聚類結束。
經過以上步驟就完成了一個聚類過程。
實際上，**K 均值**演算法也是一個**EM** 過程：
- 確定當前各類中心點的位置，並計算各個散點到現有的中心點的距離。這是**E** 過程。
- 將各個散點歸屬到各個類中，重新計算各個類的中心點，直到各類的中心點不再改變。這是**M** 過程。
### 3，EM 演算法
將二維資料點的聚類過程，擴充套件為一般性的聚類問題，**EM** 演算法是這樣一個模型：對於待分類的資料點，**EM** 演算法讓計算機通過一個不斷迭代的過程，來構建一個分類模型。
**EM 演算法**分為兩個過程：
- **E 過程**：根據現有的模型，計算各個資料輸入到模型中的計算結果，這稱為**期望值計算過程**，即 **E** 過程。
- **M 過程**：重新計算模型引數，以最大化期望值，這稱為**最大化過程**，即**M** 過程。
以二維資料點的聚類過程為例，我們定義：
- 同一類中各個點到該類中心的平均距離為 **d**；
- 不同類之間的平均距離為 **D**。
那麼二維資料點聚類的**M** 過程，就是尋求最大化的**D** 和 **-d**。我們希望的聚類結果是，同一類的點距離較近，不同類之間距離較遠。
**EM 演算法**不是單個演算法，而是一類演算法。只要滿足**EM** 這兩個過程的演算法都可以被稱為**EM 演算法**。常見的**EM 演算法**有**GMM 高斯混合模型**和**HMM 隱馬爾科夫模型**。
### 4，最大似然估計
高等數學中有一門課叫做《概率論與數理統計》，其中講到了**引數估計**。
**統計推斷**是數理統計的重要組成部分，它是指利用來自總體的樣本提供的資訊，對總體的某些特徵進行估計或推斷，從而認識整體。
**統計推斷**分為兩大類：**引數估計**和**假設檢驗**。
我們假設，對於某個資料集，其分佈函式的**基本形式**已知，但其中含有一個或多個**未知引數**。
**引數估計**就是討論如何根據來自總體的樣本提供的資訊對未知引數做出估計。引數估計包括**點估計**和**區間估計**。其中，點估計中有兩種方法：**矩估計法**和**最大似然估計法**。
**最大似然估計**是一種通過已知結果，估計**未知引數**的方法。
### 5，EM 演算法原理
**EM 演算法**使用的是**最大似然估計**的原理，它通過觀察樣本，來找出樣本的模型引數。
下面通過一個投硬幣的例子，來看下**EM 演算法**的計算過程。
這個例子來自《*Nature*》（自然）期刊的論文《*What is the expectation maximization algorithm？*》（什麼是期望最大化演算法？）。
假定有兩枚不同的硬幣 A 和 B，它們的重量分佈 **θ****A**