1. 程式人生 > >It's Moving! A Probabilistic Model for Causal Motion Segmentation in Moving Camera Videos

It's Moving! A Probabilistic Model for Causal Motion Segmentation in Moving Camera Videos

專案地址:http://vis-www.cs.umass.edu/motionSegmentation/

方法

如果相機相對背景的運動只有平移(沒有旋轉),背景光流的有很強的約束,由相機平移\left ( U,V,W \right )、影象座標\left ( x,y \right )和焦距f決定的畫素運動方向t_{\theta}​​​和場景深度無關。

t_{\theta} = \arctan \left ( W\cdot y-V\cdot f,W\cdot x-U\cdot f\right )

對於平移旋轉混合的情況,從原始光流O中減去估計的旋轉成分\hat{O}_R,得到一個平移成分的估計\hat{O}_T

用於運動分割的概率模型

給定幀T-1的運動分割,共有k個運動目標,光流O_{T,T+1},分割幀T需要幾個先驗:

  • 對於每個特定的運動模型M_j,每個畫素屬於該模型的先驗概率p\left ( M_j \right )
  • 對於前一幀的k個運動目標,他們在相鄰幀之間的3D運動方向的估計M_j
  • 對於每一個畫素位置,在每個以向量大小為t_r
    為條件的運動模型M_j的先驗下,該畫素位置的一個運動方向角的概率p\left ( t_{\theta}|M_j,t_r \right )
  • 一個新運動M_{k+1}的先驗概率p\left ( M_{k+1} \right )和角可能性分佈p\left ( t_{\theta}|M_{k+1},t_r \right )

有這些先驗和概率,使用貝葉斯原理去得到每個畫素位置中每個運動的後驗概率:

p\left ( M_j|t_\theta,t_r \right )\propto p\left( t_\theta|M_j,t_r\right )\cdot p\left(M_j|t_r \right )=p\left( t_\theta|M_j,t_r\right )\cdot p\left(M_j \right )

第二個等號時因為M_j的概率和t_r無關(不理解)

Bruss and Horn's 運動估計

1983年的工作……沒心思去看,大概的意思是估計相機相對背景的運動方向。

把Bruss and Horn 方法用於通過背景先驗選擇的畫素:

光流\text{v}_i可以被分解為\text{v}_i=\text{p}_i+\text{e}_i\text{p}_i\text{v}_i在運動模型M_b推導的方向上的分量,\text{e}_i則是與\text{p}_i正交的分量,Bruss and Horn方法就是尋找一個運動模型M使得\text{e}_i的和最小,只有平移的優化如下:

\arg\min_{U,V,W}\sum _i \left \| \text{e}_i\left(\text{v}_i,U,V,W \right ) \right \|

對於只有平移的情況,Bruss and Horn方法給出了這優化問題的一個近似形式的解。

 

文章使用了自己的方法估計旋轉和平移,使用的是一個巢狀的優化:

\hat{M}=\arg\min_{A,B,C,U,V,W}\left [\arg\min_{U,V,W}\sum _i \left \| \text{e}_i\left(\text{v}_i,A,B,C,U,V,W \right ) \right \| \right]

給定觀測光流的O的旋轉成分\hat{O}_R,由於旋轉成分和場景幾何無關,可以從觀測光流中減去旋轉成分:\hat{O}_T = O - \hat{O}_R

 

初始化:分割第一幀

初始化的目標有

  • 估計背景平移和旋轉引數
  • 找到符合背景運動的畫素點集合
  • 為額外的運動模型分配不一致的連續畫素組,即剩下的畫素點的分割

Bruss and Horn 方法並非用於處理有多個不同運動的場景,並且太大或者高速移動的前景目標會導致一個很差的運動估計。如下圖所示

使用改進版本的RANSAC處理上述問題,魯棒地估計背景運動。如下圖所示

文章中使用了10個隨機的SLIC超畫素去估計相機運動。

通過修改RANSAC演算法使得演算法選擇從影象角落選擇3/10的超畫素,因為由於對相機旋轉的錯誤估計,影象角落傾向於錯誤結果。