• 運動檢測
• 評測指標
• 經典演算法
  • 1 SOBS
  • 2 ViBe
  • 3 KNN
• 深度學習方法
  • 1 FgSegNet
  • 2 Cascade CNN
• CDW-2014資料集
• Reference

0. 運動檢測

• 通俗來說，運動檢測是指從視訊中識別發生變化或移動的區域（感興趣的區域），是計算機視覺和視訊處理中常用的預處理步驟。

與靜態影象的通用目標檢測不同，運動檢測通常會利用視訊連續幀間的上下文來對感興趣區域進行定位。常應用於人員計數，動作識別，異常檢測，跌倒檢測，停車檢測，目標定位和跟蹤等任務中。儘管每種任務的後處理方法可能不同，但是通常都從識別感興趣區域開始。

1. 評測指標

詳細參考：https://en.wikipedia.org/wiki/Precision_and_recall

• 類別平均排名（Average ranking accross categories） : (rank:Baseline + rank:Dynamic Background + rank:Camera Jitter + rank:Intermittent Object Motion + rank:Shadow + rank:Thermal) / 6
• 平均排名（Average ranking） : (rank:Recall + rank:Spec + rank:FPR + rank:FNR + rank:PWC + rank:FMeasure + rank:Precision) / 7
• 精確度 Precision : TP / (TP + FP) 反映了被分類器判定的正例中真正的正例樣本的比重
• 召回率 Re (Recall) : TP / (TP + FN) 反映了被正確判定的正例佔總的正例的比重
• TP : True Positive
• FP : False Positive
• FN : False Negative
• TN : True Negative
• Sp (Specficity) : TN / (TN + FP)
• FPR (False Positive Rate) : FP / (FP + TN)
• FNR (False Negative Rate) : FN / (TP + FN)
• PWC (Percentage of Wrong Classifications) : 100 * (FN + FP) / (TP + FN + FP + TN)
• F-Measure : (2 * Precision * Recall) / (Precision + Recall)
• FPR-S : Average False positive rate in hard shadow areas

2. 經典演算法

常見的運動檢測演算法，有幀差法、光流法、GMM（高斯混合模型）、Codebook（碼本）、 SOBS（自組織背景檢測）、Vibe（Visual background subtractor）演算法等。

經典演算法的ROC曲線如下：（上圖為線性尺度，下圖為對數尺度）

• 可以看出，除了常用的GMM，SOBS、ViBe、KNN演算法效果較好。

(1) SOBS

SOBS( 自組織背景檢測 Self-organization background subtraction)

L. Maddalena, A. Petrosino, A Self-Organizing Approach to Background Subtraction for Visual Surveillance Applications, IEEE Transactions on Image Processing, Vol. 17, no.7, 2008, p1168-1177

SC-SOBS演算法

L. Maddalena, A. Petrosino, “The SOBS algorithm: what are the limits?”, in proc of IEEE Workshop on Change Detection, CVPR 2012

對於自組織背景建模演算法即SOBS演算法，該演算法對光照有一定的魯棒性，但MAP的模型比輸入圖片大，計算量比較大，但是可以通過並行處理來解決演算法的速度問題，可以進行嘗試。

(2) ViBe

ViBe演算法

O. Barnich and M. Van Droogenbroeck. ViBe: A universal background subtraction algorithm for video sequences. In IEEE Transactions on Image Processing, 20(6):1709-1724, June 2011

ViBe+演算法

M. Van Droogenbroeck, O. Paquot, “Background Subtraction: Experiments and Improvements for ViBe”, in proc of IEEE Workshop on Change Detection, CVPR 2012

[Code] https://github.com/BelBES/VIBE
參考：http://blog.csdn.net/stellar0/article/details/8777283

(3) KNN

Efficient adaptive density estimation per image pixel for the task of background subtraction” Z. Zivkovic , F. van der Heijden Pattern Recognition Letters, vol. 27, no. 7, pages 773-780, 2006
http://www.zoranz.net/Publications/zivkovicPRL2006.pdf

opencv中已有KNN背景減除演算法的實現：
[Code] https://github.com/opencv/opencv/blob/master/modules/video/src/bgfg_KNN.cpp

迄今為止已經有許多運動檢測演算法，這些演算法在一些型別的視訊中表現良好，但是大多數對於突然的照明變化，環境條件變化（夜間，雨，雪，空氣湍流），背景/相機運動，陰影，和迷彩效果（物體和背景的光度相似性）仍面臨挑戰。目前沒有一種演算法似乎能夠同時解決真實世界（非合成）視訊的所有關鍵挑戰。
其他運動檢測演算法參考：http://www.cnblogs.com/ronny/archive/2012/04/12/2444053.html

3. 深度學習方法

(1) FgSegNet

Long Ang, L., & Hacer, Y. K. (2018). Foreground Segmentation Using a Triplet Convolutional Neural Network for Multiscale Feature Encoding. arXiv preprint arXiv:1801.02225.

處理速度：
18fps for 320x240 with NVIDIA GTX 970 GPU, Keras framework with Tensorflow backend

[Code] https://github.com/lim-anggun/FgSegNet

(2) Cascade CNN

Wang Y., Luo Z. M., and Jodoin P. M. “Interactive Deep Learning Method for Segmenting Moving Objects”, Pattern Recognition Letters, 2016.
Processing time threshold: 0.6, training frames: 200, selecting strategy: manual, model: cascade

[Code] https://github.com/zhimingluo/MovingObjectSegmentation

4. CDW-2014資料集

下載地址：dataset2014.zip | 7z

資料集包含11個視訊類別（Baseline、Dynamic Background、Camera Jitter、Intermittent Object、 Motion、Shadow、Thermal、Bad Weather、Low Framerate、Night Videos、PTZ、Turbulence），每個類別有4到6個視訊序列，每個單獨的視訊檔案（.zip或.7z）都可以單獨下載。

其中，Groundtruth圖片包含5個標籤：

• 0 : Static
• 50 : Hard shadow
• 85 : Outside region of interest
• 170 : Unknown motion (usually around moving objects, due to semi-transparency and motion blur)
• 255 : Motion

詳見：http://www.changedetection.net/

Reference

[1] Y. Wang, P.-M. Jodoin, F. Porikli, J. Konrad, Y. Benezeth, and P. Ishwar, CDnet 2014: An Expanded Change Detection Benchmark Dataset, in Proc. IEEE Workshop on Change Detection (CDW-2014) at CVPR-2014, pp. 387-394. 2014
[2] Evaluation of background subtraction techniques for video surveillance