李航-統計學習方法-習題-第九章

阿新 • • 發佈：2018-12-16

9.2 證明引理 9.2. 引理 9.2 若 $\widetilde P_\theta(Z)=P(Z|Y,\theta)$ ，則 $F(\widetilde P, \theta)=logP(Y|\theta)$ . 證明： $\begin{matrix} F (\tilde{P}, θ) & = E_{\tilde{P}} [l o g P (Y, Z ∣ θ)] + H (\tilde{P}) \\ = E_{\tilde{P}} [l o g P (Y, Z ∣ θ)] - E_{\tilde{P}} l o g \tilde{P} (Z) \\ = \sum_{Z} l o g P (Y, Z ∣ θ) {\tilde{P}}_{θ} (Z) - \sum_{Z} l o g \tilde{P} (Z) \tilde{P} (Z) \\ = \sum_{Z} l o g P (Y, Z ∣ θ) P (Z ∣ Y, θ) - \sum_{Z} l o g P (Z ∣ Y, θ) \end{matrix}$

P(Z∣Y,θ)=∑ZP(Z∣Y,θ)(logP(Y,Z∣θ)−logP(Z∣Y,θ))=∑ZP(Z∣Y,θ)logP(Y,Z∣θ)P(Z∣Y,θ)=∑ZP(Z∣Y,θ)logP(Y∣θ)=logP(Y∣θ)∑ZP(Z∣Y,θ)=logP(Y∣θ)⋅1=logP(Y∣θ) \begin{aligned} F(\widetilde P, \theta) &= E_{\widetilde P}[logP(Y,Z|\theta)]+H(\widetilde P) \\ &= E_{\widetilde P}[logP(Y,Z|\theta)]-E_{\widetilde P}log\widetilde P(Z) \\ &= \sum_ZlogP(Y,Z|\theta)\widetilde P_\theta(Z) - \sum_Zlog\widetilde P(Z)\widetilde P(Z) \\ &= \sum_ZlogP(Y,Z|\theta)P(Z|Y,\theta)- \sum_ZlogP(Z|Y,\theta)P(Z|Y,\theta) \\ &= \sum_ZP(Z|Y,\theta)(logP(Y,Z|\theta)-logP(Z|Y,\theta)) \\ &= \sum_ZP(Z|Y,\theta)log\dfrac{P(Y,Z|\theta)}{P(Z|Y,\theta)} \\ &= \sum_ZP(Z|Y,\theta)logP(Y|\theta) \\ &= logP(Y|\theta)\sum_ZP(Z|Y,\theta) \\ &= logP(Y|\theta)\cdot1 \\ &= logP(Y|\theta) \end{aligned}

F (P, θ) = E_{P} [l o g P (Y, Z ∣ θ)] + H (P) = E_{P} [l o g P (Y, Z ∣ θ)] - E_{P} l o g P (Z) = Z \sum l o g P (Y, Z ∣ θ) P_{θ} (Z) - Z \sum l o g P (Z) P (Z) = Z \sum l o g P (Y, Z ∣ θ) P (Z ∣ Y, θ) - Z \sum l o g P (Z ∣ Y, θ) P (Z ∣ Y, θ) = Z \sum P (Z ∣ Y, θ) (l o g P (Y, Z ∣ θ) - l o g P (Z ∣ Y, θ)) = Z \sum P (Z ∣ Y, θ) l o g P ( Z ∣ Y , θ ) P ( Y , Z ∣ θ ) = Z \sum P (Z ∣ Y, θ) l o g P (Y ∣ θ) = l o g P (Y ∣ θ) Z \sum P (Z ∣ Y, θ) = l o g P (Y ∣ θ) \cdot 1 = l o g P (Y ∣ θ)

證畢.

李航-統計學習方法-習題-第九章

李航-統計學習方法-習題-第九章

李航·統計學習方法筆記·第6章 logistic regression與最大熵模型（1）·邏輯斯蒂迴歸模型

李航統計學習方法習題5.1

李航統計學習方法第五章決策樹課後習題答案

李航《統計學習方法》——第五章決策樹模型

李航—統計學習方法筆記（一）

李航統計學習方法查缺補漏

李航統計學習方法之樸素貝葉斯法（含python及tensorflow實現）

演算法工程師修仙之路：李航統計學習方法（一）

李航-統計學習方法筆記（一）：統計學習方法概論

《統計學習方法》第 7 章“支援向量機”導讀

《統計學習方法》第9章 EM/GMM/F-MM/GEM

《統計學習方法》第1章課後題答案

隱馬爾可夫模型HMM---《統計學習方法》第十章

《統計學習方法》第7章課後題答案

《統計學習方法》第4章樸素貝葉斯法與貝葉斯估計

《統計學習方法》第八章-提升方法學習總結

第一章統計學習方法概論 —— 第1~3節統計學習及監督學習的簡介、損失函式及風險函式的公式化表達

李航統計學習採用C4.5演算法構建決策樹

Java-Web學習筆記（第九章）

李航-統計學習方法-習題-第九章

相關推薦