使用概率模型的原因

k均值等價於假設了球對稱形狀的聚類。使用帶權歐式距離，仍然假設了軸對齊的橢球。沒有考慮聚類的形狀。
促使概率模型的原因：混合模型

• 提供觀測點到聚類的軟分配soft assignment（分配包含不確定性）
• 考慮了聚類的形狀而不僅僅是中心
• 允許從不同維度來學習權重

高斯分佈

雙變數高斯分步，協方差矩陣的主對角線決定了展度；副對角線決定朝向

高斯混合模型

GMM估計的EM演算法

GMM推導

EM演算法的收斂性，初始化和過擬合

收斂性

• EM是一種座標下降演算法，等價於交替最大化E步和M步目標函式
• 收斂於區域性最優解

初始化

• 許多初始化EM演算法的方式
• 對於收斂和區域性最優解的質量重要
• 距離
  
  • 隨機選擇K箇中心
• 選擇類似k-means++
• 根據k-means的解初始化
• 通過劃分（移除）簇直到形成k個簇生成混合模型

過擬合

不要讓方差為0.
協方差矩陣對角線新增小的常數。
使用貝葉斯方法為引數新增先驗。

k-means與EM關係

• k-means是兩個步驟交替進行，可以分別看成E步和M步；
• E步中將每個點分給中心距它最近的類（硬分配），可以看成是EM演算法中E步（軟分配）的近似。當方差無限小的時候，EM相當於k-means。
• M步中將每類的中心更新為分給該類各點的均值，可以認為是在「各類分佈均為單位方差的高斯分佈」的假設下，最大化似然值；

參考資料

知乎王贇 Maigo的回答
《Machine Learning》ColumbiaX: CSMM.102x Lecture 16