我們都知道，在概率圖模型的推斷中，精確推斷方法通常需要很大的計算開銷。因此，在現實應用中近似推斷方法更為常用。這類方法一般分為2類：通過使用隨機化方法完成近似，比如MCMC(Markov Chain Monte Carlo)；使用確定性近似完成近似推斷，比如變分推斷。本文主要討論取樣技術，基本思想是直接計算或逼近某個變數的期望往往比推斷概率分佈更加容易。西瓜書裡舉了一個非常直觀的例子，假定我們的目標是計算函式f(x)$f(x)$在概率密度函式p(x)$p(x)$下的期望：

Ep[f]=∫f(x)p(x),$$E_p[f]=\int f(x)p(x),$$

為了有效的計算期望，我們可根據p(x)$p(x)$抽取一組樣本{

x1,⋯,xN}$\{x_1,\cdots ,x_N\}$，然後計算f(x)$f(x)$在這些樣本上的均值

f^=1N∑i=1Nf(xi),$$\hat{f}=\frac{1}{N}\sum _{i=1}^{N}f(x_i),$$

來逼近目標期望E[f]$E[f]$。若樣本獨立，基於大數定律，這種通過大量取樣的方法就能獲得較高的近似精度。
講到這裡，我們對取樣技術有了一個直觀的理解。目前有許對的關於取樣的教程，來完整的講述MCMC(構造一條馬爾科夫鏈，收斂至平穩分佈)，MH(Metropolis-Hastings, 基於拒絕取樣來逼近平穩分佈)，吉布斯取樣(Gibbs sampling, 馬爾科夫鏈的平穩分佈也是取樣的目標分佈)。但是這些教程大多都是介紹其理論或者簡單的羅列各個取樣的步驟，並沒有展示如何實現它們，如何運用到概率圖模型的推斷中；閱讀後讀者然後感到困惑，不知從何入手。本文的目標就是解決這些困惑，以一個實際中的視覺問題進行展開，直觀的理解整個建模過程和近似推斷。
我們考慮影象去噪，假設噪聲影象為

X$X$，待還原的乾淨影象Y$Y$。那麼我們的建模過程為p(Y|X)$p(Y|X)$。也許看到這，我們都聯想到了條件隨機場(Conditinal random field, CRF)。CRF是給定一組隨機變數條件下另一組輸出隨機變數的條件概率分佈模型，其特點是假設輸出隨機變數構成馬爾科夫隨機場。即輸出變數之間存在成對馬爾科夫性，區域性馬爾可夫性和全域性馬爾可夫性。這裡不做詳細介紹，可參考條件隨機場(Conditinal random field)。為了套用CRF，一個基本假設影象中的畫素只與它的直接相鄰畫素有聯絡（即具備條件獨立性質），我們就可以得到一個具備區域性馬爾可夫性質（Local Markov property）的圖模型：

從該模型可知，影象中兩兩相鄰畫素間構成最大團。p(Y|X)$p(Y|X)$的定義為：

p(Y|X)=1Zexp{−E(Y|X)}$$p(Y|X)=\frac{1}{Z}exp\{-E(Y|X)\}$$

Z$Z$為歸一化因子，E(Y|X)$E(Y|X)$為勢函式或能量函式。為了定義勢函式，我們一方面期望相鄰畫素間的值比較接近，另一方面期望還原的畫素值與原噪聲畫素值比較接近。另外，我們考慮兩種情況，當y$y$為離散變數時，即影象為二值影象(取值0/1)；當y$y$為連續變數時，即影象為灰度影象。勢函式分別定義為：

E(Y|X)=wp∑{i,j}∈N1(yi≠yj)+wl∑i1(yi≠xi)$$E(Y|X)=w_p\sum _{\{i,j\}\in N}1(y_i\ne y_j)+w_l\sum _{i}1(y_i\ne x_i)$$
E(Y|X)=wp∑{i,j}∈N(yi−yj)2+wl∑i(yi−xi)2$$E(Y|X)=w_p\sum _{\{i,j\}\in N}(y_i-y_j{)}^2+w_l\sum _i(y_i-x_i{)}^2$$

上式中，當相鄰畫素間的值比較接近，且還原的畫素值與原噪聲畫素值比較接近時，勢函式最小。對Y$Y$的求解，我們可以採用很多演算法，比如基於貪心策略的 Iterated Conditional Modes（ICM）。這裡我們採用Gibbs sampling，步驟如下：

1. 隨機或以某個次序選取變數yi$y_i$
2. 根據Y$Y$中除yi$y_i$外的變數的現有取值，計算條件概率p(yi|Yi¯)$p(y_i|Y_{\overline{i}})$
3. 根據p$p$概率分佈對變數

   相關推薦

   直觀理解概率圖模型中的取樣(sampling)技術

   我們都知道，在概率圖模型的推斷中，精確推斷方法通常需要很大的計算開銷。因此，在現實應用中近似推斷方法更為常用。這類方法一般分為2類：通過使用隨機化方法完成近似，比如MCMC(Markov Chain Monte Carlo)；使用確定性近似完成近似推斷，比如變分

   理解概率圖模型中的有向分離(d-separation)

   引言 給定貝葉斯網，我們能不能根據這個有向無環圖的結構，來簡化概率計算？ 比如給定下面這個貝葉斯網，我們就知道，X與Y互為獨立事件（記做X⊥YX⊥Y）。 知道了這個結論，那概率P(Y|X)的計算問題，就能得到簡化（如下） P(X,Y)=P(X)P(Y)P(

   有關概率圖模型中的D-Seperation的理解，附cousera例題解讀

   首先：獻上概率圖模型中D-Sepetrtion的定義： 對於DAG圖E,如果A、B、C是三個集合（可以是單獨的節點或者是節點的集合），為了判斷A和B是否是C條件獨立的，我們考慮E中所有A和B之間的無向路徑，A和B之間所有的路徑都堵塞，A和B才是D-Sepetat

   快速理解概率圖模型

   概率圖模型是人工智慧領域內一大主要研究方向。近日，Statsbot 團隊邀請資料科學家 Prasoon Goyal 在其部落格上分兩部分發表了一篇有關概率圖模型的基礎性介紹文章。文章從基礎的概念開始談起，並加入了基礎的應用示例來幫助初學者理解概率圖模型的實用價值。機器之心對

   《NLP漢語自然語言處理原理與實踐》第四章 NLP中的概率圖模型

   目前最流行的演算法思想包含如下兩大流派：基於概率論和圖論的概率圖模型；基於人工神經網路的深度學習理論。 4.1概率論迴歸  4.1.1 多元概率論的幾個基本概念  4.1.2  貝葉斯與樸素貝葉斯演算法      

   概率圖模型在影象處理中的應用

   1.概率圖模型簡介： 概率圖模型是圖靈獎獲得者Pearl開發出來的用圖來表示變數概率依賴關係的理論。概率圖模型理論分為概率圖模型表示理論，概率圖模型推理理論和概率圖模型學習理論。        概率圖理論共分為三個部分，分別為概率圖模型表示理論，概率圖模型推理理論和概率圖模

   Coursera概率圖模型（Probabilistic Graphical Models）第一周編程作業分析

   期望 and find 不同的 列表 mali 一周 模型 course Computing probability queries in a Bayesian network 計算貝葉斯網絡中的概率查詢 1.基礎因子操作 作業中因子的結構 phi =

   Coursera概率圖模型（Probabilistic Graphical Models）第四周編程作業分析

   map tel ica join 正常 最大化 expected 聯合 else Decision Making 作決策 這一周的內容在老版本的CS228課程中，是作為第六周的一個小節講的（老版本的CS229只有9周的課程），而在概率圖模型的教材裏邊對應的是第22章

   概率圖模型基礎

   action 觀測 ref 分享圖片 指定 圖片 清華大學 tps con 概率圖模型 概率圖模型把基於圖的表示作為在高維空間上緊湊編碼復雜分布的基礎. 下圖中, 節點 (或橢圓) 與問題中的變量對應, 而邊與它們之間的直接概率交互對應: 在線查詢: http://

   人臉識別之人臉對齊（四）--CLM演算法及概率圖模型改進

   原文： http://blog.csdn.net/marvin521/article/details/11489453      04、概率圖模型應用例項         最近一篇文章《Deform

   《機器學習》 周志華學習筆記第十四章 概率圖模型（課後習題）python實現

   一、基本內容 1.隱馬爾可夫模型 1.1. 假定所有關心的變數集合為Y,可觀測變數集合為O,其他變數集合為R, 生成式模型考慮聯合分佈P(Y,R,O),判別式模型考慮條件分佈P(Y,R|O)，給定一組觀測變數值，推斷就是要由P(Y,R,O)或者P(Y,R|O)得到條件概率分佈P(Y,

   深度學習框架---keras的層次示意圖---方便直觀理解---適用sklearn模型的展示

   感覺keras確實比其他框架舒服一點，但是前期理解keras層的時候可能有點小問題，keras的層使用了原始神經網路層的概念，即先有上層的輸出聚合，聚合後在進入啟用函式。我的環境是python3.5+tensorflow+keras+graphviz+pydot_ng+pydotplus 其中

   概率圖模型學習（一）概述

   本文內容根據Stanford 教授 Daphne Koller 的公開課 Probabilistic Graphical Model內容整理。 1.什麼是概率圖模型 概率圖模型即為解決某一類應用問題的一個框架。在理解這個概念之前，首先來看兩個例子： 1） 上面這張圖片

   ml課程：概率圖模型—貝葉斯網路、隱馬爾可夫模型相關（含程式碼實現）

   以下是我的學習筆記，以及總結，如有錯誤之處請不吝賜教。 本文主要介紹機器學習中的一個分支——概率圖模型、相關基礎概念以及樸素貝葉斯、隱馬爾可夫演算法，最後還有相關程式碼案例。 說到機器學習的起源，可以分為以下幾個派別： 連線主義：又稱為仿生學派(bionicsism)或生理學派

   Coursera概率圖模型（Probabilistic Graphical Models）第三週程式設計作業分析

   Markov Networks for OCR 光學字元識別的馬爾科夫網路   說到光學字元識別（OCR），此前筆者首先想到的會是卷積神經網路，而單詞識別則會考慮使用遞迴神經網路。而本週的作業則基於馬爾科夫網路構建了一個較為基礎OCR系統，目的也主要是讓我們對馬爾科夫網路有個感

   [轉載搬運工]Mark概率圖模型學習筆記：HMM、MEMM、CRF

   概率圖模型學習筆記：HMM、MEMM、CRF 一、Preface 二、Prerequisite 2.1 概率圖 2.1.1 概覽2.1.2 有向圖 vs. 無向圖2.1.3 馬爾科夫假設&馬爾科夫性2.2 判別式模型 vs. 生成式模型2.3 序列建模 三、HMM

   從零開始-Machine Learning學習筆記(30)-概率圖模型

   文章目錄 1. 隱馬爾可夫模型(Hidden Markov Model,HMM) 2. 馬爾科夫隨機場(Markov Random Field, MRF) 3. 條件隨機場(Conditional Random Field,

   理解Keras LSTM模型中的return_sequences和return_state

   在keras LSTM的文件中有兩個引數 return_sequences: Boolean. 是否返回最後一個輸出或是整個序列的輸出，預設是False return_state: Boolean. 是否在輸出之外返回狀態，預設是False 輸出指的是a<t>，狀

   NLP --- 寫在前面（概率圖模型）

   本節將正式進入自然語言處理的領域，在自然語言處理的總結中，我不會總結的那麼細了，如剛開始的語言模型，自動機及其應用、校準、歧義消除、平滑方法等，這些基礎性的知識大家需要找本書看看，例如宗成慶老師的《統計自然語言處理》，前五章的內容大家應該有所瞭解，我這裡就不重複了，一是因為這是很老的內容的了，在

   概率圖模型 —— 串連 NB、LR、MEM、HMM、CRF

   概率圖模型（PGM），作為機器學習的重要分支，能串連起很多傳統模型，比如 NB、LR、MEM、HMM、CRF、DBN 等。本篇文章，從串連多個模型的角度，來談談 PGM，順便把這些模型回顧下。 1 Why PGM 從兩方面談談學習和使用 PGM 的必要性吧。