關於條件隨機場的一些補充

阿新 • • 發佈：2018-12-22

注：有一點筆者仍然不明白，《統計學習方法》是定義P(Y)的乘積是在最大團上進行，而有材料說明乘積是在極大團上進行。

無向圖中的極大團的結點個數可以是不同的，只要滿足“不能再加進任何一個結點”的條件，就是極大團。

因子分解是圖中所有極大團的勢函式的乘積規範化後的結果。計算公式如下

$P(Y)=\frac{1}{Z} \prod_{C} \psi_{C}\left(Y_C \right )$

$Z=\sum_{Y} \prod_{C}\psi_C(Y_C)$

$\psi_C(Y_C)=\exp\{-E(Y_C)\}$

針對上圖，最大團有 $C_1=\left \{ x_1,x_2,x_3 \right \}, C_2=\left \{ x_3,x_4 \right \}, C_3=\left \{ x_3,x_5 \right \}$

聯合概率分佈為

$P(x_1,x_2,...,x_5)=\frac{1}{Z}\psi_{C1}(x_1,x_2,x_3) \psi_{C2}(x_3,x_4) \psi_{C3} (x_3,x_5)$
Z為每個節點所在團塊的勢函式乘積的和

$Z=\psi(C_1)+\psi(C_1)+\psi(C_1)\psi(C_2)\psi(C_3)+\psi(C_2)+\psi(C_3)$

上式理解為每個節點所在所有極大團的乘積和， $x_1$ 在C1中， $x_2$ 在C2中， $x_3$ 在C1、C2、C3中， $x_4$ 在C2中， $x_5$ 在C3中。

2. 概率無向圖公式P(Y)與條件隨機場P(Y|X)的聯絡

條件隨機場是給定X的條件下，隨機變數Y的馬爾可夫隨機場，即Y是滿足馬爾可夫性的。這裡Y的條件概率分成P(Y|X)構成條件隨機場。

線性條件隨機場中，最大團是 $C_1=\left \{ y_1,y_2 \right \}, C_2=\left \{ y_2,y_3 \right \}, ...,C_n=\left \{ y_{n-1},y_n \right \}$ 。所以按照概率無向圖的因子分解公式，可知

$P(y_1,y_2,...,y_n)=\frac{1}{Z}\psi_{C_1}(x_1,x_2)\psi_{C_2}(x_2,x_2)...\psi_{C_n}(x_{n-1},x_{n-2})$

$\psi_{C_i}(x_{i-1},x_{i})=\exp(\lambda_k t_k(y_{i-1},y_i,x,i)+\mu_l s_l(y_i,x,i))$

所以線性條件隨機場的引數形式為

$P(y|x)=\frac{1}{Z(x)}\exp(\sum_{i,k}\lambda_k t_k(y_{i-1},y_i,x,i)+\sum_{i,l} \mu _l s_l (y_i,x,i))$