條件隨機場(Conditional Random Field,CRF)是一個比較重要的概率模型，在詳細介紹CRF之前，首先簡單介紹一下概率圖(Probabilistic Graphical Model,PGM)，有時候簡稱圖模型(Graphical Model, GM).

PGM

概率圖模型用圖的形式表示一組隨機變數。圖中的節點表示一個或一組隨機變數，圖中的邊代表隨機變數間的依賴關係。

概率圖模型分為有向圖模型和無向圖模型，如下：

下面將依次介紹

有向圖模型

有向圖模型中，我們主要考慮貝葉斯網路，它滿足下面特徵的模型：

對於一個無向圖$G$以及它表示的一組隨機變數$X=x_1,x_2,\mathrm{.}\mathrm{.}\mathrm{.},x_N$

$p(X)=\prod_{i=1}^Np(x_i|x_{\pi i})$

那麼$G$被稱為一個貝葉斯網路

常見的貝葉斯網路有：sigmoid信念網路（SBN），樸素貝葉斯模型，以及上篇的隱馬爾科夫模型。

SBN

模型的區域性條件概率表示為：

$p(x_k|X_{\pi k},W)=\sigma(w_0+\sum_{x_i\in X_{\pi k}}w_ix_i)$

樸素貝葉斯

模型的區域性條件表示為：

$P(x_k|X_{\pi k})=\frac{P(X_{\pi k}|x_k)P(x_k)}{P(X_{\pi k})}$

$\propto P(X_{\pi k}|x_k)P(x_k)$
$=P(x_k)\prod_{x_i\in X_{\pi k}} P(x_i|x_k)$

隱馬爾科夫模型

上一篇詳細介紹了此模型，它的聯合分佈概率表示為：
$P(Q,V)=\prod_{q_t\in Q,v_t\in V}P(v_t|v_{t-1})P(q_t|v_t)$

其中$P(v_t|v_{t-1})$是轉移概率，$P(q_t|v_t)$為輸出概率。

無向圖模型

對於無向圖模型，我們主要考慮馬爾科夫隨機場(Markov Random Field,MRF),也稱為馬爾科夫網路(Markov Network).

無向圖G,圖中的節點表示隨機變數，邊表示隨機變數間的依賴關係。如果圖中隨機變數的聯合概率分佈P(X)滿足成對、區域性或全域性馬爾可夫性，則G被稱為馬爾科夫隨機場

那麼我們分別來解釋下成對、區域性、全域性馬爾科夫性分別是什麼性質。

成對馬爾科夫性

無向圖中的任意不直接相連的兩個節點$x_i,x_j$，以及除它們之外的所有節點組成的集合,記作$X_O$.

如果給定$X_O$的情況下，$x_i,x_j$條件獨立，則稱無向圖滿足成對馬爾科夫性質,即：

$P(x_i,x_j|X_O)=P(x_i|X_O)P(x_j|X_O)$

區域性馬爾科夫性

無向圖中的任意一個節點$x_k$, 與之直接向量的節點組成的集合，記作$X_{N(k)}$,$x_k$之外的所以其他節點組成的集合，記作$X_{-k}$.

如果：

$P(x_k|X_{N(k)})=P(x_k|X_{-k})$

則稱無向圖滿足區域性馬爾科夫性。

全域性馬爾科夫性

無向圖中不直接相鄰節點集合$X_A,X_B$,已經連線他們的節點組成的集合$X_C$。

如果:

$P(X_A,X_B|X_C)=P(X_A|X_C)P(X_B|X_C)$

則稱無向圖滿足全域性馬爾科夫性。

有向圖中聯合概率分佈可以分解為區域性條件概率的乘積形式，無向圖中的聯合概率分佈如果計算呢？

無向圖中的邊不表示因果依賴關係，所以不能運用鏈式法則分解為條件概率的乘積形式。在介紹無向圖聯合概率分解方法之前，先引入團的概念。

無向圖中的全聯通子圖，有稱為團，如果一個團加入任何一個節點後不能構成團，則稱之為最大團

HC定理

無向圖滿足成對、區域性或全域性馬爾科夫性，當且僅當聯合分佈概率可以表示一系列定義在最大團上的非負函式的乘積形式，即：

$P(X)=\frac{1}{Z}\prod_{X_c\in C}\phi(X_{c})$
其中，
$Z=\sum_{X_c\in C}\phi(X_c)$

稱為配平函式(partition function),$\phi(X_c)\ge0$稱為勢能函式，$X_c$為一個最大團，$$