1. 程式人生 > >馬爾科夫隨機場(MRF)與條件隨機場(CRF)

馬爾科夫隨機場(MRF)與條件隨機場(CRF)

看《統計學習方法》中的條件隨機場一章,覺得應該把馬爾科夫隨機場和條件隨機場一起總結一下。

1.馬爾科夫隨機場

1.1無向圖

假設有一組隨機變數Y={Y1,Y2,...,Yn}, 具有聯合概率分佈P(Y)。此聯合概率分佈可以由一個無向圖G=(V,E)表示。 其中VE 分別是圖G 的節點和邊。某個節點viV 代表一個隨機變數Yi,而某一條邊eE 代表連線著的兩個隨機變數之間的關係。

1.2 無向圖的隨機變數之間的馬爾科夫性

《統計學習方法》中介紹了三種馬爾科夫性,分別是成對馬爾科夫性,區域性馬爾科夫性和全域性馬爾科夫性,這三個概念差不多,這裡只介紹成對馬爾科夫性。
假設有兩個不連線的節點u

v,其分別對應隨機變數YuYv,剩餘的節點記為O,對應隨機變數為YO。如果uv滿足成對馬爾科夫性,即

P(Yu,Yv|YO)=P(Yu|YO)P(Yv|YO)
即在給定YO的情況下,YuYv是獨立的。
上述式子中,由於P(Yu,Yv|YO)=P(Yu|YO)P(Yv|Yu,YO),所以也等價於:
P(Yv|Yu,YO)=P(Yv|YO)
說明在已知YO的情況下,知道或不知道YuYv的條件概率沒有影響。

1.3 馬爾科夫隨機場

若隨機變數Y的聯合概率分佈P(Y)代表的無向圖G=(V,E)的每個節點均滿足馬爾科夫性,則G是一個馬爾科夫隨機場。
個人理解:在馬爾科夫隨機場中,隨機變數Y

可以看做既是輸入,又是輸出。

2. 條件隨機場

在明白了馬爾科夫隨機場的定義後,再理解條件隨機場會比較簡單。
在條件隨機場中,有兩種隨機變數,分別是輸入X和輸出Y,條件隨機場關心條件概率P(Y|X)。若在給定輸入X的情況下,隨機變數Y構成的無向圖G=(V,E)是一個馬爾科夫隨機場,即:

P(Yv|X,Yu,YO)=P(Yv|X,YO)

3. 馬爾科夫隨機場與條件隨機場的比較

MRF關注聯合概率分佈,CRF關注條件概率分佈。所以MRF屬於生成模型,而CRF屬於判別模型。因此個人認為它們之間的差別主要是生成模型與判別模型的差別。生成模型本身比判別模型描述能力強,因為聯合概率分佈可以推匯出條件概率分佈:P

(Y|X)=P(X,Y)P(X);而判別模型收斂比較快。
Quora上有一個關於這兩個模型差別的問題,請移步
這個網址