變分推斷(Variational Inference)-mean field

所謂推斷，即是在概率圖模型中計算未觀測變數(變數集)的後驗分佈；然後根據推測出的未觀測變數與觀察變數一起進行引數學習。注意如果將待學習引數也當作變數，那麼引數學習也類似於推斷問題。推斷分為精確推斷和近似推斷，因精確推斷往往需要很大的計算開銷，所以近似推斷在現實應用中跟為常用。近似推斷分為基於確定性的變分推斷和基於隨機性的取樣方法。本文將深入探討變分推斷的原理與技術細節。
假設在貝葉斯模型中， $X$ 代表觀測變數集， $Z$ 代表隱變數集和引數集， $p (X, Z)$ 為相應的聯合概率分佈。在EM演算法深入理解中，我們能得到如下關係：

\ln p (X | θ) = L (q, θ) + K L (q | | p)

其中

\begin{matrix} L (q, θ) = \sum_{Z} q (Z) \ln \frac{p (X, Z | θ)}{q (Z)} \\ K L (q | | p) = - \sum_{Z} q (Z) \ln \frac{p (Z | X, θ)}{q (Z)} \end{matrix}

可知，在引數的學習中我們使用EM演算法，即避開觀察資料的對數似然函式 $\ln p (X | θ)$ 的難以優化求解而利用其下界 $L (q, θ)$ 進行計算。其中， $q (Z)$ 的選擇，我們直接採用其後驗概率而使得下界與目標優化函式取等。然而遺憾的是，在概率圖模型當中，隱變數 $Z$ 的後驗分佈很難通過貝葉斯公式求解，主要是因為分母中 $p (X)$

p (X)

的積分項的存在。因此，變分推斷的實質就是使用已知簡單分佈來逼近需要推斷的複雜分佈，並通過限制近似分佈的型別，從而得到一種區域性最優，但具有確定解的近似後驗分佈。

1. 數學原理

平均場假設複雜的多變數 $Z$ 可拆分為一系列相互獨立的多變數 $Z_{i}$ ， $i = 1, \dots, M$ ，且 $q$ 分佈可以因子化為這些多變數集的乘積：

q (Z) = \prod_{i = 1}^{M} q_{i} (Z_{i})

$q_{i} (Z_{i})$ 簡寫為 $q_{i}$ ，那麼下界 $L (q)$ 可變為(注意這裡的引數 $θ$ 融入進了隱變數)：

\begin{matrix} L (q) = \int \prod_{i} q_{i} {\ln p (X, Z) - \sum_{i} l o g q_{i}} d Z \\ = \int q_{j} {\int \ln p (X, Z) \prod_{i \neq j} q_{i} d Z_{i}} d Z_{j} - \int q_{j} \ln q_{j} d Z_{j} + c o n s t \\ = \int q_{j} l o g \hat{p} (X, Z_{j}) d Z_{j} - \int q_{j} \ln q_{j} d Z_{j} + c o n s t \end{matrix}

變分推斷(Variational Inference)-mean field

1. 數學原理

變分推斷(Variational Inference)-mean field

變分推斷(variational inference)學習筆記(1)——概念介紹

變分推斷(variational inference)

轉--Approximate Inference（近似推斷，變分推斷，KL散度，平均場， Mean Field ）

變分推斷（variational inference）

LDA主題模型學習筆記3：變分推斷(E-step)

機器學習：LDA_數學基礎_5：變分推斷：變分推斷部分

機器學習(2) 變分推斷

一文讀懂貝葉斯推理問題：MCMC方法和變分推斷

[深度學習]半監督學習、無監督學習之Variational Auto-Encoder變分自編碼器(附程式碼)

【Learning Notes】變分自編碼器（Variational Auto-Encoder，VAE）

Autoencorder理解(5):VAE（Variational Auto-Encoder，變分自編碼器）

Variational Autoencoder（變分自編碼）

白話Variational Autoencoder（變分自編碼器）

關於FV(Fisher Vector)和變分自編碼VAE（Variational Autoencoder）的原理簡介

線性動力學變分原理基礎

變分特征以及子空間的交

融合非負矩陣分解和圖全變分的歌曲推薦算法

變分法

pytorch 實現變分自動編碼器

變分推斷(Variational Inference)-mean field

1. 數學原理

相關推薦