本文是LDA主題模型的第二篇，讀這一篇之前建議先讀文字主題模型之LDA(一) LDA基礎，同時由於使用了基於MCMC的Gibbs取樣演算法，如果你對MCMC和Gibbs取樣不熟悉，建議閱讀之前寫的MCMC系列MCMC(四)Gibbs取樣。
首先，回顧LDA的模型圖如下：
在Gibbs取樣演算法求解LDA的方法中，我們的α,ηα,η是已知的先驗輸入,我們的目標是得到各個zdn,wknzdn,wkn對應的整體
具體到我們的問題，我們的所有文件聯合起來形成的詞向量w⃗ w→是已知的資料，不知道的是語料庫主題z⃗ z→的分佈。假如我們可以先求出w,zw,z的聯合分佈p(w⃗ ,z⃗ )p(w→,z→)，進而可以求出某一個詞
如果我們通過取樣得到了所有詞的主題,那麼通過統計所有詞的主題計數，就可以得到各個主題的詞分佈。接著統計各個文件對應詞的主題計數，就可以得到各個文件的主題分佈。
以上就是Gibbs取樣演算法求解LDA的思路。
從上一節可以發現，要使用Gibbs取樣求解LDA，關鍵是得到條件概率p(zi=k|w⃗ ,z⃗ ¬i)p(zi=k|w→,z→¬i)的表示式。那麼這一節我們的目標就是求出這個表示式供Gibbs取樣使用。
首先我們簡化下Dirichlet分佈的表示式,其中△(α)△(α)是歸一化引數：
Dirichlet(p⃗ |α⃗ )=Γ(∑k=1Kαk)∏Kk=1Γ(αk)∏k=1Kpαk−1k=1△(α⃗ )∏k=1Kpαk−1kDirichlet(p→|α→)=Γ(∑k=1Kαk)∏k=1KΓ(αk)∏k=1Kpkαk−1=1△(α→)∏k=1Kpkαk−1
現在我們先計算下第d個文件的主題的條件分佈p(z⃗ d|α)p(z→d|α)，在上一篇中我們講到α→θd→z⃗ dα→θd→z→d組成了Dirichlet-multi共軛,利用這組分佈，計算p(z⃗ d|α⃗ )p(z→d|α→)如下：
p(z⃗ d|α⃗ )=∫p(z⃗ d|θ⃗ d)p(θd|α⃗ )dθ⃗ d=∫∏k=1Kpn(k)dkDirichlet(α⃗ )dθ⃗ d=∫∏k=1Kpn(k)dk1△(α⃗ )∏k=1Kpαk−1kdθ⃗ d=1△(α⃗ )∫∏k=1Kpn(k)d+αk−1kdθ⃗ d=△