機器學習 —— 概率圖模型（馬爾科夫與條件隨機場）
機器學習 —— 概率圖模型（馬爾科夫與條件隨機場）
再一次遇到了Markov模型與條件隨機場的問題，學而時習之，又有了新的體會。所以我決定從頭開始再重新整理一次馬爾科夫模型與條件隨機場。
馬爾科夫模型是一種無向概率圖模型，其與馬爾科夫鏈並不是很一樣。馬爾科夫鏈的節點是狀態，邊是轉移概率，是template CPD的一種有向狀態轉移表達。而馬爾科夫模型是與貝葉斯模型並列的一種概率圖模型。其作用是描述互相影響，互相作用，不存在因果關系的兩個隨機變量之間的關系。因為作用是相互的，所有馬爾科夫模型的邊是無向的，或者可以說是雙向的。馬爾科夫模型的強大之處在於它解除了貝葉斯模型中的因果關系，這也就使得它可以對很多平等的東西建立相互關系。比如一幅圖片的各個像素就是平等的，但是各個像素之間可以相互影響（天在上，地在下）。所有馬爾科夫模型被廣泛的應用於圖像處理，與圖像理解。（圖像處理與圖像理解所使用的網絡結構並不一樣）。
1.toy Example
假設有4個人，之間搞三角戀的關系。其關系如圖所示，有邊的部分代表有聯系，沒邊的部分代表不聯系。
這四個人可以持有不同的意見0，1. 比如DA,BC兩對完全贊同對方的意見，CD兩個人完全反對對方的意見，AB 對對方的意見存疑。四個人各自的意見都是隨機變量，但是經過一番交流後肯定會達成某個共識。我們認為達成不同共識的概率是不同的。因為我們對最終的概率感興趣，所以要對不同意見組合的可能性進行量化（打分）。註意，這裏的打分是憑著直覺給的，並不完全要求歸一化。比如上圖中的打分。
最終，我們希望得到不同意見組合的概率，直覺上，只需要把隨機變量對應取值，按照邊的關系相乘就可以獲得了。
這裏Z是歸一化因子，把上面所有數據加起來，再歸一化，數據看起來就像是概率了。但是這個概率看起來很詭異啊，明明a=b的概率比較大，可是邊際化之後確實a0b1比較可能，其根本原因在於a,b之間不止一條邊。a還可以通過DC影響B。補充一句：我們憑感覺給的那個數，就是“勢”。
2. Gibbs 分布
談概率就一定要談分布，分布的本質就是概率密度函數的表達式。“勢”可以有很多方法確定，假設是已知的，那麽隨機變量的聯合概率則可表達為：
思路和上面是一樣的，如果有各個“團”的“勢”，那麽則可以通過“超級邊際化”來獲得總因子，將整個勢進行歸一化。這個過程稱為Gibbs分布。
3.分布--->圖，圖--->分布
在有了Gibbs分布這一工具之後，就可以建立概率圖的數學模型了。需要註意的是：對於給定的分布，可以建立不同的圖，對於給定的圖，也有不同的分布寫法。
實際上，“團”代表的是影響流動的方向。一旦某個隨機變量被觀察到，影響則被隔斷了。trail就死了。
4.條件隨機場
其實條件隨機場是一種更給力的“naive bayes classfier"。 之前在學習樸素貝葉斯分類器的時候，其實我一直有疑問，直觀上如果是推測 Y 的種類，我們使用了P(y,x1,x2,x3,x4....)這樣的概率。但是這並不符合我們的直覺啊，因為我們基於證據進行推理，那麽應該計算的是P(y|x1,x2,x3,x4.....)。我的直覺確實是對的， 當x1,x2,x3,x4之間，不存在相關性的時候，樸素貝葉斯的聯合概率和後面的條件概率性質上是等價的。但是一旦x1,x2,x3,x4存在相關性，那麽聯合概率密度函數就不能基於樸素貝葉斯的假設來求了。會導致結果的畸形。
但是條件概率公式是沒有問題的，因為條件概率中，並不在意x1中是否也給出了x2的信息。總之那都是條件，條件重復了對結果沒有影響。那麽我們想個辦法把樸素貝葉斯分類器的換掉不就好了，這個換掉的方法就是條件隨機場。代價是它不能使用x1,x2.....的獨立假設，不能用x隨機變量因子連乘的形式給出p(y,x1,x2.....)。
在這裏，我假設了x 變量各種愛恨糾葛，總之就是糾纏在一起了。但是這不要緊啊，我們把每個團都設成 Φ(Y,Xi)就好了。Gibbs同一個圖分布有多種表達方式，影響是可以通過節點逆向互相傳遞的。每個團的勢，相當於是 xi 對 Y 的影響，機器學習裏面用了很高明的方法把 xi 變成開關量，勢函數變成了開關量乘以權重再取指數。最後訓練得到權重。
Φ(y,x1,x2,x3.....) 可以由Gibbs分布給出。那麽我們只需要找到Φ(x1,x2,x3.......)作為分母就好。這個分母也很好求，只要把 y 邊際掉就好了。結果如下：
這樣，我們就可以用條件隨機場來分割圖像了。因為我們選的圖像特征是很相關的：顏色，紋理，位置(比如正常的場景上面就會是藍色（天），下面往往是黑的（影子））。拋開了樸素貝葉斯模型的獨立假設，條件隨機場這種特殊的馬爾科夫模型對特征不敏感，怪不得說the sink can be the feature............
機器學習 —— 概率圖模型（馬爾科夫與條件隨機場）