介紹

這篇論文主要介紹一種基於BP（Beilef propagation）演算法在3維空間-時間馬爾可夫隨機場的運用來進行運動目標檢測。 對於目標檢測，有兩種主要的方法即提取背景和幀差法，提取背景的方法顧名思義就是需要將前景與背景分開來達到檢測運動目標的目的， 但是需要大量移動相機位置來提取不同的背景；幀差法即通過前後幀的作差來檢測運動目標，這個方法由於作差將前後幀不變的資訊包括背景資訊也刪除了，因此不能定位目標的位置以及判斷物體的在形狀。本文提出的基於BP的3D MRF方法主要用於解決有著統一顏色的目標間難以準備檢測和與背景由相似外觀下的目標難以被檢測跟蹤的問題。

圖1 在3維馬爾可夫隨機場模型中基於置信傳播方法來檢測和跟蹤目標

模型構建

既然用來MRF來構建模型，由於MRF是一種無向有環的概率圖模型，這裡肯定是用概率的方法來求解運動目標檢測的問題。視訊是由一幀一幀的影象組成，而影象由畫素點組成。這裡的問題就成了怎麼把畫素點和這概率來聯絡上，從而才能利用MRF來解決運動目標檢測的問題，當然，由於視訊中涉及時間資訊，也就是前一幀，後一幀之間的時間順序關係，所以肯定是在一個（x,y,t）的空間中，所以利用3D中MRF模型。 在3D MRF中每個畫素有一個隱藏狀態點sj（代表一個畫素的運動似然）,（正是通過估計圖片中這些隱藏狀態點來對應到檢測運動目標的工作上）和一個觀測到的資料點dj（由幀間差分法計算得到的二值運動檢測結果1表示有運動，0表示無運動），這樣建模後，這個3維空間的聯合概率為：

聯合概率表示所有節點共同發生的概率，即將所有條件概率相乘。
這裡的si和di分別代表狀態點和資料點，ψ是一對不同的隱藏狀態點之間的狀態轉移函式，ϕ是隱藏狀態點和觀測資料點之間的測量函式，N代表在3維空間中隱藏狀態點或者觀測資料點的總數。在平方損失函式下，對狀態點sj最好的估計方法是後驗邊緣概率的平均（最小均方誤差估計，MMSE估計）。

內部的加和表示sj的邊緣概率：各種狀態下所有其他節點對本結點影響的概率的和。
邊緣概率：即某個事件發生的概率，而與其他實踐無關；邊緣概率是這樣計算的：在聯合概率中把最終結果中不需要的那些事件合併成事件的全概率而消失（在兩個離散隨機變數的條件下，對其中任一行或者任一列求和，得到的概率就是邊緣概率）
由於聯合概率包含了在3維空間中所有的狀態點和資料點，所以基於內在的多變數概率分佈的最小均方誤差估計的計算非常困難。
所以就要利用一維馬爾可夫的特徵啦！！！即一個狀態點只與相鄰的點互相影響，這裡相鄰的點作者設定為6個隱藏狀態點（包含時間上的2個點（前一幀以及後一幀對應位置的隱藏狀態點）和空間上的4個點（也就是此狀態點上下左右四個點，都在同一幀中）），如下圖所示，

圖2 定義一個畫素鄰域的3維格子框架
所以BP演算法也就派上用場啦！BP利用了局部分訊息傳遞，把計算全域性的求和或者積分，轉換成了區域性的訊息傳遞，每個節點都能都過自身的狀態以及鄰近節點的狀態做出評價，得到自身的下一狀態，不斷地更新最終使系統達到穩定。
首先將狀態點的邊緣分佈計算用一個置信度來代替邊緣概率（作用：某個事件發生的概率，而與其他事件無關），每個隱藏狀態點都有一個置信度。

這個置信度定義了點的運動似然的一個概率分佈。

其中b(sj)即隱藏狀態點sj的置信度，

其中k代表某個瞬時（時刻），即在點s j上的置信度且在瞬時k執行在點s j的所有鄰域的隱藏狀態點上。在點s j上的置信度是所有傳入資訊（M kj）的乘積和區域性觀測到的資料點資訊（ϕj（sj，dj））如下圖3，傳遞的資訊具體說明了每個點認定它的鄰域應該有什麼樣的分佈，從點sk到sj計算資訊：

圖3 （a）計算置信度 （b）計算資訊

將（4）帶入（5）有，

I ∈鄰域(k)/j代表除了j以外的所有鄰域點，再乘上來自鄰域點除了（s j）所有傳入資訊（Mk j）以及觀測資料資訊（ϕj（s j，d j）），這個乘積是由資訊傳送者通過傳遞函式ψj k(s j，s k)到資訊接受者演化而來。
總的來說BP演算法也就是
（1）通過加權乘積計算所有的區域性訊息
（2）節點之間的概率訊息在隨機場中的傳遞
演算法過程：

1. 隨機選擇相鄰的隱藏狀態點si，sj
2. 從si向sj傳送訊息Mij
3. 更新隱藏狀態點sj的置信度
4. 計算隱藏狀態點sj的最小均方誤差（MMSE）估計
5. 判斷是否所有隱藏狀態點置信度被計算，否則跳到（1），直至演算法收斂

在計算過程中那ψ、ϕ究竟怎麼計算呢？別慌！！！
從前面已經知道了置信度是用來定義此點是否是運動的，首先將這個置信度量化到[1，C]上（可以想象成畫素點量化到[0，255]）。
前面說過ϕ是用來描述隱藏狀態點和觀測資料點之間的測量關係的，而且當觀測資料點dj為0時，通過幀間差分法計算表明此點不運動，並且給一個均勻分佈來表示，而為1時通過幀間差分法計算表明運動，同樣給定一個脈衝分佈（spike:尖峰）來表示，兩幀間畫素強度差越大越表明此點運動的可能性。
令spj代表在點sj（p∈[1,C]）上的第p個狀態候補點，在觀測點和狀態點之間的相容性函式ϕ為

而ψ是經過波特模型在相鄰隱藏狀態點之間定義的一個狀態轉移函式，

其中，0<θ<1，ε=（1-θ）/（C-1），並且θ≫ε，這個ψ函式鼓勵相鄰的點有相同的狀態，也作為一個延時函式在缺失當前強度差時減少運動似然性。由於波特模型介紹了一個延遲項θ，因此一個畫素不一定會像相鄰的畫素一樣運動。空間集合點和時間集合點可能有不同的θ，但在測試時使用的相同的相容性函式。
下面通過一個例子來說明整個過程。
首先隨機初始化找到一個觀測資料點d2，其有隱藏狀態點s2，基於（7）有，

並且根據（8）定義一個狀態轉移矩陣ψ

然後由（4）來計算此點的置信度

其中‘·’代表兩個向量矩陣的點乘（對應元素相乘）
然後計算資訊Mi j，即從s 2到s 3的資訊由（6）計算（矩陣乘法即求邊緣分佈）

然後重複上述操作來進行迭代直到所有隱藏狀態點都被計算出置信度。
也就是下圖4的過程：

圖4 C=2的1維資訊計算
不同的BP演算法從下圖就能看懂啦，過程都和上述一樣，只是用那些點來進行計算的差別。

圖5 合成視訊序列上的測試

圖6 θ=0.7，C=10時，運用不同的BP演算法來對隨機塊進行MMSE估計
對於每一幀都用非同步加速資訊來進行更新，四個一維的BP掃描子（從左向右，從上向下，從右向左，從下向上），都單獨被執行，如下圖7

圖7 2維空間網格圖中的BP演算法
這裡1維BP意味著BP演算法同時一行接著一行，一列接著一列在空間網格中被執行，四個一位BP掃描置信度被‘·’操作融合在一起。即圖6（a）效果。
與此相反，如果只執行時間點上的BP演算法，在前向方向（HMM的前向），結果如圖6(b)，只聚集了一個過去的運動資訊，在外觀上與前向運動歷史影象MHI有點類似。前向和後向的時間上的BP演算法唯一的不同在於後向維持一個長度為L的滑動時間視窗，L未來幀（固定延遲）在後向時間BP中被用到，在圖4中L=2。
對於每一幀，2維空間BP演算法通過非同步加速資訊來更新，使得每個畫素在某個時刻有一個置信度（運動似然分佈），這個置信度隨後通過時間BP演算法被進化為它的時間鄰域（前向或者後向）。

圖8 θ=0.7，C=10時，運用不同的BP演算法來對均勻矩形進行MMSE估計
上圖8說明了另一個運動檢測的挑戰：幀間差分法只能檢測帶有均勻顏色的運動目標的碎片如圖8（b），然而前向／後向的空時BP演算法在找到整個運動目標上卻有很好的效果，那是因為每個畫素在空時上傳播區域性的幀差資訊到它的鄰域。如果在一個畫素上檢測到了改變，就指定此狀態點一個最大置信度狀態值作為其一個脈衝分佈。如果沒有檢測到運動，則其所有的鄰域點收到一個均勻分佈置信度，中心點即此點的脈衝分佈會逐漸通過轉移矩陣ψ下降到均勻分佈置信度，如下圖9

圖9 θ=0.7，C=10時，在k時刻的置信度，‘*’代表MMSE估計
檢測效果圖：

圖10 兩個攝像機上的實驗結果