why-what-how方式的機器學習總結之二

摘要： 上面式子算的是z的後驗概率，分子是樣本xi屬於zj的概率，分母是樣本xi屬於每個zi的概率之和，因為有了引數確定的條件所以分母是個邊緣分佈而不是等於1。 M-step就是根據之前最大似然的結果把z的概率代入計算即可。這個過程實際上是固定z，然後最大化似然函式L(θ)求解對應的θ。 EM...

上面式子算的是z的後驗概率，分子是樣本xi屬於zj的概率，分母是樣本xi屬於每個zi的概率之和，因為有了引數確定的條件所以分母是個邊緣分佈而不是等於1。

M-step就是根據之前最大似然的結果把z的概率代入計算即可。這個過程實際上是固定z，然後最大化似然函式L(θ)求解對應的θ。

EM演算法能收斂，但可能會收斂到區域性最大值，如果函式是凸函式才能保證收斂到全域性最大值。

how

EM的推導過程有點長，這裡只記錄關鍵過程

這個過程用了幾個技巧

(1)分子分母同時增加了Q(z)項

(2)不等號這裡用到了Jensen不等式

(3)第一步和最後一步都用到了期望的定義