[1]Bruhn A, Weickert J, Kohlberger T, et al. A Multigrid Platform for Real-Time Motion Computation with Discontinuity-Preserving Variational Methods[J]. International Journal of Computer Vision, 2006, 70(3):257-277.       2區 4.270   較難

針對變分方法的實時效能問題提出解決方法：提出基於雙向多網格的數值框架方法來加速不同不變性和平滑性假設下的變分光流。

資料項：規定了影象特徵的時間不變性，如灰度等

平滑項：資料項附加的平滑假設

[2]Bruhn A, Weickert J, Schnörr C. Combining the Advantages of Local and Global Optic Flow Methods[C]// Pattern Recognition, Dagm Symposium, Zurich, Switzerland, September 16-18, 2002, Proceedings. DBLP, 2002:454-462.    2區 3.399   較易

[3]Bruhn, A., Weickert, J. & Schnörr, C. Lucas/Kanade Meets Horn/Schunck: Combining Local and Global Optic Flow Methods[J]. International Journal of Computer Vision, 2005, 61(3): 211-231. 

在區域性鄰域內整合約束提高了密集光流的精度

差分方法：區域性方法：Lucas-Kanade[6]技術和Bigun[4]的結構張量方法：對噪聲具有更好的魯棒性

          全域性方法：Horn-Schunck方法[5]以及改進方法：產生100%的稠密光流

並置了局部和全域性差分方法的光流計算的平滑項作用，結合全域性和區域性光流的方法的優點，產生魯棒性好且稠密的光流。

差分方法是影象序列光流估計的應用最廣的技術，基於影象時空導數的計算。

[4]Bigün J, Granlund G H, Wiklund J. Multidimensional Orientation Estimation with Applications to Texture Analysis and Optical Flow[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1991, 13(8):775-790.      1區   6.077  很難

[5]Horn B K P,Schunck B G. Determining optical flow[J]. Artificial Intelligence, 1981; 17: 185-204.  2區  3.333   較易

對光流估計引入亮度恆定假設和空間平滑約束，然而their quadratic formulation assumes Gaussian statistics and is not robust to outliers caused by reflection, occlusion, motion boundaries etc.

[6]Lucas B D, Kanade T. An iterative image registration technique with an application to stereo vision[C]// International Joint Conference on Artificial Intelligence. Morgan Kaufmann Publishers Inc. 1981:674-679.   

提出一種影象配準技術——利用影象的空間梯度使用牛頓-拉夫遜迭代法找到一個很好的匹配，此技術能夠推廣到處理旋轉，縮放和剪下問題。

[7]Brox T, Bregler C, Malik J. Large displacement optical flow[J]. IEEE Computer Society, 2009, 33(3):41-48.

目前文獻提供了兩種方式來建立影象與移動物體之間的點對應：

能量最小化的方法：能非常精確的產生稠密的光流場，但是不能處理大位移場

描述符匹配：允許大位移，但是光流場稀疏不精確，並且由於缺少規則約束，存在許多異常值

本文提出的方法是：結合兩種匹配策略優點的方法，建立兩個影象區域層次結構。描述符匹配為對應區域提供一組稀疏假設，他們被整合到變分方法中，並將區域性優化引導到解決大位移方案中。利用幾何約束和所有可用的影象資訊，變分優化在假設之間進行選擇，並提供密集和子畫素準確的估計。

為了獲得更準確，密集的光流場，我們將匹配假設整合到變分方法中，將其與原始影象資料的區域性資訊和先前的平滑度相結合。

Bruhn A．Variational optic flow computation: accurate modelling and efficient numerics ［D］． Germany: Saarland University，2006.

（Abstract：The recovery of the displacement field between two consecutive frames of an image sequence – the so-called optic flow – is one of the central problems in computer vision. Allowing a mathematical sound integration of different concepts into a single minimisation framework, variational methods belong to the best performing and best understood techniques for solving this task. They can be designed in such a way that they preserve motion boundaries, treat large displacements correctly, are robust with respect to illumi- nation changes or perform favourably in the presence of noise and occlusions. However, they are hardly used in practical applications, since they require to solve large linear or nonlinear systems of equations. In particular, they are considered to be too slow for those tasks where real-time performance is needed. In this thesis we make two important contributions to the field of variational optic flow computation: Firstly, we provide a systematic toolkit for the design of accurate variational methods. Thereby, we demonstrate that this toolkit allows the construction of the currently most precise optic flow approaches in the literature. Secondly, we present a multigrid framework for the efficient solution of the resulting linear and nonlinear systems of equa- tions. This framework does not only outperform frequently used numerical schemes by up to four orders of magnitude, it even allows the first real-time computation of variational optic flow ever. The first part of this thesis is dedicated to variational optic flow methods for small displacements. Thereby we investigate the systematic design of convex approaches by discussing a variety of established models. In this context, we also introduce several new ideas that improve the quality of the estimation with respect to noise, outliers and varying illumination. Moreover, we present a compact notation for variational optic flow methods that is based on motion and diffusion tensors. This notation proves to be useful in two respects: Firstly, it allows the systematic construction of novel approaches. This is demonstrated by the example of two advanced optic flow techniques. Secondly, it forms the basis of our numerical framework for the design of efficient bidirectional multigrid methods. By resampling these tensors instead of the original image sequence, we present a novel way to create a suitable coarse grid representation that is both computationally efficient and accurate at the same time. Extensive qualitative and quantitative benchmarks for seven different models and six different numerical prototypes show the accuracy and the efficiency of the proposed multigrid implementations. The second part of this thesis extends our previous contributions to the case of large displacements. To this end, we introduce an eighth prototype that is based on a nonconvex approach. In order to solve the resulting minimisation problem we derive an incremental coarse-to-fine fixed point iteration that allows to avoid local minima. In this context, we also succeed to provide a theoretical justification for the well-known warping technique that has been motivated only on an algorithmic basis so far. Moreover, we define a new motion tensor equivalent for the case of large displacements. This allows us to extend our compact notation and therewith our highly efficient multigrid framework that we devel- oped before. Quality and efficiency benchmarks show the success of this generalisation: While the speedups are similar than in the case of small displacements, the accuracy is even higher.影象序列的兩個連續幀之間的位移場的恢復 - 所謂的光流 - 是計算機視覺中的核心問題之一。允許將不同概念的數學聲音整合到單個最小化框架中，變分方法屬於解決此任務的最佳效能和最佳理解技術。它們的設計方式可以保持運動邊界，正確地處理大的位移，在照明變化方面是穩健的，或者在存在噪聲和遮擋的情況下表現良好。然而，它們在實際應用中幾乎不被使用，因為它們需要求解大的線性或非線性方程組。特別地，對於那些需要實時效能的任務來說，它們被認為太慢了。在本論文中，我們對變分光流計算領域做出了兩個重要貢獻：首先，我們為精確變分方法的設計提供了一個系統的工具包。因此，我們證明，該工具包允許在文獻中構建目前最精確的光流方法。其次，我們提出了一個多網格框架，用於有效解決所得到的線性和非線性方程組。該框架不僅優於經常使用的數字方案達四個數量級，甚至允許先前實時計算變分光流。本論文的第一部分專門用於小位移的變分光學流動方法。因此，我們通過討論各種建立的模型來研究凸方法的系統設計。在這方面，我們還介紹了幾個新的想法，提高噪聲，異常值和不同照明方面的估計質量。此外，我們提出了基於運動和擴散張量的變分光學流動方法的緊湊符號。這個表示法在兩個方面證明是有用的：首先，它允許系統地構建新的方法。這通過兩個先進的光學流技術的示例來證明。其次，它構成了高效雙向多網格方法設計數值框架的基礎。通過重新取樣這些張量而不是原始影象序列，我們提出了一種新穎的方法來建立同時計算高效和準確的合適的粗網格表示。七種不同型號和六種不同數字原型的廣泛定性和定量基準顯示了所提出的多柵格實現的準確性和效率。本論文的第二部分將我們以前的貢獻擴大到大型流離失所的情況。為此，我們引入了基於非凸方法的第八個原型。為了解決所產生的最小化問題，我們得到允許避免區域性最小值的增量粗到精定點迭代。在這種情況下，我們還成功地為迄今為止僅以演算法為基礎的知名翹曲技術提供了理論上的理由。此外，我們定義一個新的運動張量相當於大位移的情況。這使我們能夠擴充套件我們的緊湊型符號，同時也擴充套件了我們以前開發的高效多網格框架。質量和效率基準顯示了這種泛化的成功：雖然加速比與小位移的情況相似，但精度更高。）

[8]Ummenhofer B. Large Displacement Optical Flow for Volumetric Image Sequences[M]// Pattern Recognition. Springer Berlin Heidelberg, 2011:432-437.

 

[9]Brox T, Malik J. Large Displacement Optical Flow: Descriptor Matching in Variational Motion Estimation[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on, 2010, 33(3):500-513.

 

[10]Brox T, Bruhn A, Papenberg N, et al. High Accuracy Optical Flow Estimation Based on a Theory for Warping[J].  Computer Vision - ECCV, 2004, 3024(:10):25-36.

結合三種假設研究了計算光流的能量方程：亮度不變性假設，梯度不變性假設，不連續保持時空平滑約束。提出了基於兩個巢狀定點迭代的一致性數值方案，評估表明，此方法得出的光流估計角度誤差更小。對引數變化非常不敏感，在噪聲下具有更好的魯棒性。為了最小化光照變化的影響擴充套件亮度不變性假設到高階（梯度和Hessian）。

[11]Sun D, Roth S, Lewis J P, et al. Learning Optical Flow.[C]// Computer Vision - ECCV 2008, European Conference on Computer Vision, Marseille, France, October 12-18, 2008, Proceedings. DBLP, 2008:83-97.

Sun D, Roth S, Lewis J P, et al. Learning Optical Flow[J]. Lecture Notes in Computer Science, 2008, 5304:83-97.

大多數光流估計方法是以亮度不變性假設和空間平滑假設為基礎的。不同於標準的heuristic formulations（啟發式演算法），我們依據影象序列的真實光流場提出了一結合亮度不變性誤差和空間特性的統計學習模型——光流全概率模型。我們也將此模型推廣到了高階不變性假設。

主要貢獻：First 探索影象亮度邊界提高運動邊界附近的光流精度——Nagel and Enkelmann[12](引進導向平滑，防止影象邊界光流模糊化——各向異性擴散方法)

         Second 資料項學習統計模型

Steerable Random field(SRF)[14]——空間平滑模型（模擬光流和影象序列之間統計關係的條件）

Markov random field (MRF)—|—Gaussian scale mixtures(GSM)

[12]Nagel H H, Enkelmann W. An Investigation of Smoothness Constraints for the Estimation of Displacement Vector Fields from Image Sequences[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1986, 8(5):565.

[13]Bao W, Li H, Li N, et al. A liveness detection method for face recognition based on optical flow field[C]// International Conference on Image Analysis and Signal Processing. IEEE Xplore, 2009:233-236.

[14]Roth S, Black M J. Steerable Random Fields[C]// IEEE, International Conference on Computer Vision. IEEE, 2007:1-8.

[15]Black M J, Jepson A D. Estimating optical flow in segmented images using variable-order parametric models with local deformations[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1996, 18(10):972-986.

基於平面區域和區域性變形運動提出了新的光流估計模型。該方法利用亮度資訊來組織和約束運動的解釋，通過使用分段平滑亮度的分段區域來假設場景中的平面區域。

場景中光流估計包含深度變化，獨立運動或者關節物件需要將場景分割成相干運動的區域。

引數+變形模型（the parametric+deformation model）

實驗表明，引數+變形模型產生準確的流量估計，而亮度分割的結合提供了運動邊界的精確定位。

[16]Enric M L, Javier S, Daniel K. Horn-Schunck Optical Flow with a Multi-Scale Strategy[J]. Image Processing on Line, 2013, 20:151–172.

實現了原始HS方法，為了處理大位移介紹了多尺度策略（建立了降取樣影象的金字塔結構，用一個非線性公式改變了光流約束方程，用線性化和迭代每個尺度的方法處理非線性方程）。即：用迭代的方法計算運動增量 or 依照迭代增量在迭代期間計算完整光流。解決方案是在所有尺度上逐步完善的。這種金字塔結構是很多光流方法的標準工具。

H-S的開創性工作是第一次提出了光流估計的變分方法。介紹了一個新的光流計算框架：最小化問題的解決方案。光流約束方程的推導是基於畫素強度不變假設的。方程涉及影象的導數。有無窮多向量場滿足光流約束——不適定問題。

[17]Javier S, Nelson M, Agustin S. Robust Optical Flow Estimation[J]. Image Processing on Line, 2013, 3: 252-270

描述了Brox et al（2004）[10]變分光流的實現過，用較短的執行時間產生了精確的光流。對於Horn和Schunck的方法，它有幾個好處：對存在異常值更好的魯棒性，產生分段光滑的光流場，能處理亮度變化。也概括了L1泛函的使用，有助於減輕異常值的影響並建立一個總變異（TV）正則化。此外也引入一種簡單的時間正則化方案，增強光流場連續時間的相干性。

[18]Zach C, Pock T, Bischof H. A Duality Based Approach for Realtime TV-L, 1 Optical Flow[J]. Lecture Notes in Computer Science, 2007, 4713(5):214-223.

提出一個更有效的TV-L1光流方法。[19]實現

[19]Pérez J S. TV-L1 Optical Flow Estimation[J]. Image Processing on Line, 2012, 2(4):137-150.

 

[20]桂本燁, 錢徽, 朱淼良. 一種優化梯度計算的改進HS光流演算法[J]. 中國圖象圖形學報, 2005, 10(8):1052-1058.

針對HS方法中不準確的灰度梯度，提出一種改進的HS演算法——迴圈求精的梯度演算法，減少了光流計算的迭代次數。

[21]Botelho S, Correa U B, Lautenschlager W I. Vision-Based Motion Detection Using C-NLPCA Approach[C]// Neural Networks, 2006. SBRN '06. Ninth Brazilian Symposium on. IEEE Xplore, 2006:214-219.       2區  3.216  較易

提出了一個基於視覺的運動檢測方法——應用於自動機器人環境探索，資訊獲取和解決運動定位導航問題。（C-NLPCA Approach）級聯非線性主成分分析方法。

[22]Tu Z G. Variational Optical Flow Algorithms for Motion Estimation[D]. Utrecht University, 2015.

 

 

[23]Chen D, Sheng H, Chen Y, et al. Fractional-order variational optical flow model for motion estimation.[J]. Philos Trans A Math Phys Eng Sci, 2013, 371(1990):20120148.

 

[24]Stoll M, Volz S, Bruhn A. Adaptive Integration of Feature Matches into Variational Optical Flow Methods[M]// Computer Vision – ACCV 2012. Springer Berlin Heidelberg, 2013:1-14.

 

[25]Baker S, Scharstein D, Lewis J P, et al. A Database and Evaluation Methodology for Optical Flow[J]. International Journal of Computer Vision, 2011, 92(1):1-31.

[26]Baker S, Roth S, Scharstein D, et al. A Database and Evaluation Methodology for Optical Flow[C]// IEEE, International Conference on Computer Vision. IEEE, 2007:1-8.

為下一代光流估計演算法建立一系列新的標準。估計the performance of several well-known methods，用當前最先進的估計資料建立一個Database： http://vision.middlebury.edu/flow/。

{ we contribute four types of data to test different aspects of optical flow algorithms: sequences with nonrigid motion where the ground-truth flow is determined by tracking hidden fluorescent texture; realistic synthetic sequences; high frame-rate video used to study interpolation error; and modified stereo sequences of static scenes.}——the average angular error、the absolute flow endpoint error、 frame interpolation error

Our solution is to collect four different datasets, each of which satisfies a different subset of the desirable properties above. The combination of these datasets provides a basis for a rigorous evaluation of current optical flow algorithms. Moreover, the relative performance of algorithms on the different datatypes should stimulate further research in the field.(1.Real imagery of nonrigidly moving scenes, where dense ground-truth flow is obtained using hidden fluorescent texture painted on the scene. 2.Realistic synthetic imagery.3.Imagery for frame interpolation where intermediate frames are withheld and used as ground truth.4.Real stereo imagery of rigid scenes)

In this paper we present two kinds of ground truth; ground-truth motion fields and intermediate images for the evaluation of apparent motion.

We have developed a technique for capturing imagery of nonrigid scenes with ground-truth optical flow.

 

[27]Weinzaepfel P, Revaud J, Harchaoui Z, et al. DeepFlow: Large Displacement Optical Flow with Deep Matching[C]// IEEE International Conference on Computer Vision. IEEE, 2013:1385-1392.

 

[28]Timofte R, Gool L V. Sparse Flow: Sparse Matching for Small to Large Displacement Optical Flow[C]// Applications of Computer Vision. IEEE, 2015:1100-1106.

 

[29]Sun D, Roth S, Black M J. Secrets of optical flow estimation and their principles[J]. 2010, 1:2432-2439.

 

[30]Kennedy R, Taylor C J. Optical Flow with Geometric Occlusion Estimation and Fusion of Multiple Frames[M]// Energy Minimization Methods in Computer Vision and Pattern Recognition. Springer International Publishing, 2015:364-377.

 

[31]Vogel C, Roth S, Schindler K. An Evaluation of Data Costs for Optical Flow[J]. Lecture Notes in Computer Science, 2013, 8142:343-353.

 

[32]Xu L, Jia J, Matsushita Y. Motion detail preserving optical flow estimation.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34(9):1744-57.

 

[33]Bao L, Yang Q, Jin H. Fast Edge-Preserving PatchMatch for Large Displacement Optical Flow[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2014:3534-3541.

 

[34]Revaud J, Weinzaepfel P, Harchaoui Z, et al. EpicFlow: Edge-preserving interpolation of correspondences for optical flow[J]. Computer Vision & Pattern Recognition, 2015:1164-1172.

 

[35]Brox T, Malik J. Large Displacement Optical Flow: Descriptor Matching in Variational Motion Estimation[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on, 2010, 33(3):500-513.

 

[36]Chen Z, Jin H, Lin Z, et al. Large Displacement Optical Flow from Nearest Neighbor Fields[C]// Computer Vision and Pattern Recognition. IEEE, 2013:2443-2450.

 

[37]Bailer C, Taetz B, Stricker D. Flow Fields: Dense Correspondence Fields for Highly Accurate Large Displacement Optical Flow Estimation[C]// IEEE International Conference on Computer Vision. IEEE, 2015:4015-4023.

 

[38]Hu Y, Song R, Li Y. Efficient Coarse-to-Fine Patch Match for Large Displacement Optical Flow[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2016:5704-5712.

 

[39]Lu Z, Wei L. The Compensated HS Optical Flow Estimation Based on Matching Harris Corner Points[C]// International Conference on Electrical and Control Engineering. IEEE, 2010:2279-2282.

 

[40]Senst T, Eiselein V, Sikora T. Robust Local Optical Flow for Feature Tracking[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2012, 22(9):1377-1387.

 

[41]Yamaoka D, Ogawa Y, Ishimura K, et al. Motion segmentation using pulse-coupled neural network[C]// Sice 2003 Conference. IEEE, 2003:2778-2783 Vol.3.

關注於PCNN的影象分割能力，並應用PCNN解決光流分割問題。

[42]黃金傑, 趙飛. 一種改進的彩色影象序列光流場計算方法[J]. 哈爾濱理工大學學報, 2009, 14(a01):24-26.

提出一種基於HSI顏色模型的光流場計算方法，避免了傳統光流演算法增加約束條件來解決孔徑問題的複雜度。

[43]屠大維, 江濟良. 改進的光流運動影象分析方法及其應用[J]. 光學精密工程, 2011, 19(5):1159-1164.     EI  1.925

 

[44]張永亮, 盧煥章, 高劼,等. 一種改進的Lucas-Kanade光流估計方法[J]. 海軍航空工程學院學報, 2009, 24(4):443-446.

針對影象紋理欠豐富區域CFLK演算法光流估計結果較差（根本原因在於這些區域畫素灰度時空域的變化都不明顯，運動資訊難以獲取），提出了一種改進的CFLK演算法：計算跟蹤置信度因子；通過閾值檢測剔除不可靠光流估計結果；鄰域填充。

序列影象光流計算是計算機視覺領域運動估計的重要組成部分，主要應用在兩個方面：二維影象的快速配準和運動目標檢測；作為中間介質重建三維物體的運動和結構。

[45]武理靜, 明軍. 一種改進的光流估計方法[J]. 國外電子測量技術, 2006, 25(12):6-8.

針對光流法在亮度突變條件下運動引數估計不準確的弱點,基於影象的邊緣變化特徵,對平滑約束項加以改進,給出了一種基於區域平滑約束的光流估計演算法。

[46]Black M J, Anandan P. The Robust Estimation of Multiple Motions: Parametric and Piecewise-Smooth Flow Fields[J]. Computer Vision & Image Understanding, 1996, 63(1):75-104.

 3區  2.134   容易

用於估計光流的大多數方法假設在有限影象區域內僅存在單個運動。這種單一運動假設在涉及透明度，深度不連續性，獨立移動物體，陰影和鏡面反射的常見情況下被違反。為了魯棒地估計光流，單一運動假設必須放鬆。本文提出了一種基於魯棒估計的框架，其解決了由多個運動引起的亮度恆定性和空間平滑度假設的違規。

[47]Roth S, Black M J. On the Spatial Statistics of Optical Flow[C]// Tenth IEEE International Conference on Computer Vision. IEEE Computer Society, 2005:42-49.

用高階MRF模擬了光流場的空間結構——Field of Experts (FoE)，學習了訓練資料的引數。

[48]Fermüller C, Shulman D, Aloimonos Y. The Statistics of Optical Flow[J]. Computer Vision & Image Understanding, 2001, 82(1):1-32.   3區  2.134   容易

分析了噪聲對光流估計的影響，但並沒有試圖從例子中學習光流統計

[49]Simoncelli E P, Adelson E H, Heeger D J. Probability distributions of optical flow[C]// Computer Vision and Pattern Recognition, 1991. Proceedings CVPR '91. IEEE Computer Society Conference on. IEEE, 2001:310-315.

formulated an early probabilistic model of optical flow and modeled the statistics of the deviation of the estimated flow from the true flow.首次闡述了光流的概率模型，從真實光流中模擬了估計光流統計的偏差。

[50]Black M J, Yacoob Y, Jepson A D, et al. Learning Parameterized Models of Image Motion[C]// Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 1997:561.

proposed an MRF model that coupled edges in the flow field with edges in the brightness images. This model, however, was hand designed and tuned.

[51]Fleet D J, Black M J, Nestares O. Bayesian Inference of Visual Motion Boundaries[J]. Exploring Artificial Intelligence in the New Millennium, 2003:139--174.

learned a statistical model relating image edge orientation and amplitude to flow boundaries in the context of a patch-based motion discontinuity model.

[52]Alvarez L, Deriche R, Papadopoulo T, et al. Symmetrical Dense Optical Flow Estimation with Occlusions Detection[J]. International Journal of Computer Vision, 2007, 75(3):371-385.

修改了Nagel-Enkelmann[12]的方法，以至於不執行平滑光流估計也可以接近影象邊緣。啟發式地確定了沿邊界和跨越邊界的平滑量。

提出一種結合遮擋估計與光流檢測的方法。

[53]Mayer N, Ilg E, Häusser P, et al. A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation[J]. Computer Science, 2015:4040-4048

（一種用於訓練卷積網路的大型資料集，用於視差，光流和場景流估計）

光流估計可以被表述為一種監督學習過程，並且成功的可以用卷積網路解決。所謂的FlowNet訓練是由大型的綜合資料集實現的。本文通過卷積網路將光流估計的概念擴充套件到視差和場景流估計。 為此，提出了三個足夠真實的，可變的，大小足夠的綜合立體視訊資料集，以成功地訓練大型網路。 我們的資料集是第一個能夠訓練和評估場景流方法的大型資料集。 除了資料集之外，我們提出了一個實時差異估計的卷積網路，提供了最先進的結果。 通過組合流量和差異估計網路並聯合訓練，我們演示了使用卷積網路的第一個場景流量估計。

立體視訊：估計場景流——深度，3D運動向量。Last decades子任務：光流估計和視差估計。Research over the last decades has focused on its subtasks, namely disparity estimation and optical flow estimation, with considerable success.

提出一種場景流估計網路並且並在足夠大的測試集上提供了全場景流的第一個定量數字。

 

[54]Fischer P, Dosovitskiy A, Ilg E, et al. FlowNet: Learning Optical Flow with Convolutional Networks[J].  In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015:2758-2766.

光流估計可視為一種監督學習過程並且可以被大型網路解決。為了訓練他們的網路，他們建立了一個簡單的合成二維資料集飛行椅，這被證明足以預測一般視訊中的精確光流。這些結果也表明視差和場景光流可以通過卷積網路估計Ideally jointly, efficiently, and in real-time。實現這一想法缺少的是一個大型資料集，具有足夠的現實性和可變性來訓練這樣的網路並評估其效能。

 

[55]Butler D J, Wulff J, Stanley G B, et al. A Naturalistic Open Source Movie for Optical Flow Evaluation[M]// Computer Vision – ECCV 2012. Springer Berlin Heidelberg, 2012:611-625.

MPI Sintel——一個完全合成的資料集，源自一個短的開源動畫3D電影。 它為光流提供了密集的地面真相。

[56]Revaud J, Weinzaepfel P, Harchaoui Z, et al. EpicFlow: Edge-preserving interpolation of correspondences for optical flow[J]. Computer Vision & Pattern Recognition, 2015:1164-1172.

 

[57]Geiger A, Lenz P, Stiller C, et al. Vision meets robotics: The KITTI dataset[J]. International Journal of Robotics Research, 2013, 32(11):1231-1237.    2區   2.489  較易

[58]Menze M, Geiger A. Object scene flow for autonomous vehicles[C]// Computer Vision and Pattern Recognition. IEEE, 2015:3061-3070.

The KITTI dataset was produced in 2012 [57] and extended in 2015 [58].它包含來自安裝在汽車上的校準的攝像機對道路場景的立體視訊。光流和視差的地面實況是從與汽車的自動運動資料結合的3D鐳射掃描器獲得的。雖然資料集包含實際資料，但採集方法將場地真實性限制在場景的靜態部分。此外，鐳射器只提供一定距離和高度的稀疏資料。對於最新版本，汽車的3D模型被安裝到點雲以獲得更密集的標籤並且還包括移動物體。但是，這些領域的地面實況仍然是近似的。

[59]Jure Žbontar, Lecun Y. Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches[J]. Journal of Machine Learning Research, 2015, 17(1):2287-2318.

視差估計方法——使用Siamese網路計算影象斑塊之間的匹配距離。

[60]Vedula S, Baker S, Collins R, et al. Three-dimensional scene flow.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2005, 27(3):475-480.

場景光流估計首次受到歡迎是由於[60]的工作——分析不同可能場景的問題。

[61]肖軍, 朱世鵬, 黃杭,等. 基於光流法的運動目標檢測與跟蹤演算法[J]. 東北大學學報(自然科學版), 2016, 37(6):770-774.      EI   0.706

用Harris角點作跟蹤物件，映入尺度空間的概念，提取尺度上的Harris角點，並進行曲率非極大值抑制，濾除“偽角點”，提高角點檢測對尺度變化的抗干擾能力。跟蹤演算法採用結合影象金字塔的光流法，迭代計算光流，並提出光流誤差的跟蹤演算法。

影象金字塔是一個影象集合，集合中所有的影象都源於同一個原始影象，而且是通過對原始影象連續降取樣獲得，直至達到某一個終止條件停止取樣[63]。傳統光流法採用小視窗跟蹤目標以滿足空間一致假設，因而當跟蹤運動過快的物體時，跟蹤效果不理想。

[62]Harris C. A combined corner and edge detector[J]. Proc Alvey Vision Conf, 1988, 1988(3):147-151.

Harris角點檢測：由英國學者Harris和Stephens提出[62]，角點定義為視窗向任意方向移動都會引起影象灰度變化明顯的畫素點。（Harris角點檢測只在單一尺度下進行特徵點檢測，因而對影象的尺度變化不具備不變形；Harris角點至少兩個邊緣相交於一點，其曲率較大）

 

[63]Tamgade S N, Bora V R. Motion Vector Estimation of Video Image by Pyramidal Implementation of Lucas Kanade Optical Flow[C]// International Conference on Emerging Trends in Engineering & Technology, Icetet 2009, Nagpur, Maharashtra, India, 16-18 December. DBLP, 2009:914-917.

 

[64]Bergen J R, Burt P J, Hingorani R, et al. A three-frame algorithm for estimating two-component image motion[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1992, 14(9):886-896.

使用迭代註冊演算法來解釋場景中的多個全域性運動。

[65]Comg-xuan ZHANG, Ling-ling ZHU, et al. An Improved Evaluation Method for Optical Flow of Endpoint Error[J]. ACRS, 2017,54:312-317.

基於Middlebury基準提出了一種改進的光流估計評價公式。

[66]李秀智, 賈鬆敏, 尹曉琳,等.視覺光流向量場估計演算法綜述[J].北京工業大學學報. 2013(11):

1638- 1643.

內容涉及(evolving)保邊平滑、抗光照變化、大位移光流、異質點濾除和實時性計算(edge preserving smoothing, vary illumination tackling, large displacement optical flow eatimating, outlier removing and real-time computing)。變分法是求解光流的主要方法——用平滑項和資料項構建能量泛函，然後用尤拉-拉格朗日方程求解泛函的最優化解，最終得到緻密光流場。變分光流法的優點是模型的通用性好、求解的精確度高且光流緻密。（HS模型—>ROF模型（ROF模型的提出是為解決影象復原中的保邊去噪問題[67]，其中L1範數的正則項比L2範數正則項更有利於分段平滑，有利於在邊界處保持灰度的不連續性，這對基於邊緣的運動分割與運動與跟蹤至關重要）—>TV-L1模型（Alliney[68]和Nikolova[69]提出進一步將ROF模型中的資料項也替換為L1範數）Zach等[18]將其拓展到光流場求解模型中。Chan等[70]最早提出了ROF模型的對偶求法，Chanbolle[71]提供了演算法的收斂證明,Pock等[72]在此基礎上首次卷積那個對偶方法用於光流計算，通過引入一個輔助變數κ，將其作為被估光流向量的近似量）

未來研究工作：

1) 當前主流的光流演算法所能估計的位移的尺度仍很有限，已成為制約光流技術廣泛應用的主要瓶頸，因此，面向大位移的光流演算法研究具有迫切的應用需求． 由於傳統的影象金字塔演算法所能提供的改進空間有限，可以考慮融合其他某些影象特徵作為引導資訊，以降低最優化搜尋的範圍及難度．

2) 光照變化的影響十分複雜，是影響光流求解精度的重要因素． 從文獻報道看，結構－紋理分解等策略以及高階梯度約束法能降低光照變化帶來的不利影響，但改善的程度尚不明確，能否滿足面向機器人導航、跟蹤等應用領域的需要還有待定量地考察．

3) 目前光流演算法的處理精度及運算效率之間的矛盾依然突出，因此，有必要研究更具普遍適用性的高效優化演算法． 由於並行圖形影象加速硬體( 如GPU) 和多核處理器成本不斷降低，可為實時性系統的構建提供有力的支援．

[67]Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[C]// Eleventh International Conference of the Center for Nonlinear Studies on Experimental Mathematics : Computational Issues in Nonlinear Science: Computational Issues in Nonlinear Science. Elsevier North-Holland, Inc. 1992:259-268.

ROF(Rudin-Osher-Fatemi)模型

[68]Alliney S. A property of the minimum vectors of a regularizing functional defined by means of the absolute norm[J]. IEEE Transactions on Signal Processing, 1997, 45(4):913-917.

[69]Nikolova M. A Variational Approach to Remove Outliers and Impulse Noise[J]. Journal of Mathematical Imaging and Vision, 2004, 20(1):99-120.

[70]Chan T F, Golub G H, Mulet P. A Nonlinear primal dual method for TV-based image restoration[C]// in ICAOS’96, 12th International Conference on Analysis and Optimization of Systems: Images, Wavelets and PDE’s, edited by. 1996.

[71]Chambolle A. An Algorithm for Total Variation Minimization and Applications[M]. Kluwer Academic Publishers, 2004.

Chambolle A.An Algorithm for Total Variation Minimization and Applications[J].Math Imaging Vis,2004,20:89-97.

[72]Pock T, Urschler M, Zach C, et al. A duality based algorithm for TV-L1-optical-flow image registration[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer-Verlag, 2007:511-518.

[73]程愛靈, 黃昶, 李小雨. 運動目標檢測演算法研究綜述[J]. 資訊通訊, 2017(1):12-14.

[74]劉博文, 魏偉波, 潘振寬,等. 大位移變分光流計算的快速演算法[J]. 中國圖象圖形學報, 2017, 22(1):66-74.

針對多尺度方法在解決傳統HS演算法不能計算大位移光流的問題中出現的迭代速度慢的問題，應用Split Bregman方法，對偶方法和交替方向乘子法到大位移光流計算中加快迭代收斂。

多尺度方法：由於基於微分的光流演算法利用了泰勒展開式，前提條件是變化量趨於0，因此微分光流演算法只能計算小位移光流。而在影象中，位移的單位為畫素，位移量的大小表現為相隔的畫素的個數，畫素又與影象解析度直接相關，因此，可對原影象進行縮小，將原來的大位移運動變為小位移運動。將原影象縮小不同尺寸，得到許多個小解析度的影象，原來整個的大位移變為一個個的小位移，然後再將小位移合併得到大位移光流。（尺度變換公式）——雙線性插值

M-HS-TV模型：

....(1)

Dual方法

對於變分模型中計算複雜的光滑項，Split Bregman方法採用分裂的思想，用輔助變數ω代替計算▽u。而對偶方法定義了對偶空間：

.....(2)

使用對偶項

.....(3)

代替光滑項

.....(4)

對於模型式( 10) ，需要引入輔助變數 ，利用 計算光流向量 ，得到

 

固定 dv，對 p 和 du 進行求解，得到問題

 

上式對du的變分導（函）數為

 

計算得到

 

原始解法：

上式是一個約束問題，可將其轉為無約束問題

對上式求尤拉-拉格朗日方程得到

[75]Fortun D, Bouthemy P, Kervrann C. Optical flow modeling and computation: A survey[J]. Computer Vision & Image Understanding, 2015, 134:1-21.

文章總結了近幾年光流技術。提出了一個光流估計的調查，分析了這一演變過程中闡述的主要原理，特別關注近期的發展。我們深入瞭解建模和優化技術的動機，興趣和侷限性，並強調方法之間的相似之處，以便能夠清楚地瞭解其行為。提出對現有主要方法原則的綜合分類，特別是對最近的發展。

運動分析是計算機視覺的主要任務之一。（目標跟蹤，量化變形，檢索主運動，檢測異常行為）

論文不是告訴整個光流的演變過程，也不是對現有方法給出一個詳盡的清單。我們提出存在的主要方法原則的綜合分類，特別關注給出最近的發展。

AE對小誤差估計即發生小位移非常敏感，而EPE幾乎對非常接近的運動向量沒有區別。反之，AE趨於估計大位移運動運動向量的距離，而EPE對大位移估計誤差有強的懲罰性。

 

[76]Wedel A, Pock T, Zach C, et al. An Improved Algorithm for TV-L1 Optical Flow[M]// Statistical and Geometrical Approaches to Visual Motion Analysis. Springer Berlin Heidelberg, 2009:23-45.

ROF模型應用於光流。

[77]王琦, 潘振寬, 魏偉波. 多相影象分割的Split-Bregman方法及對偶方法[J]. 計算機輔助設計與圖形學學報, 2010, 22(9):1561-1569.

對偶方法通過引入對偶變數將問題轉化為對偶變數的半隱式迭代計算和主變數的精確計算公式。

[78]劉德春. 對偶演算法的有效改進[J]. 中國圖象圖形學報, 2006, 11(4):465-468.

應用塊匹配的法的基本原理，提出實用的快速演算法——最大梯度及多重迴圈對偶法。塊匹配法是一種基於模式匹配的位移估值法。目前常用的匹配準則有均方誤差(MSE)、平均絕對值誤差(MSD)和絕對值誤差(SAD)準則等。

其中，表示第幀灰度值，，分別為水平、垂直方向的偏移量。

[79]張俊, 顧廣澤, 楊餘飛. 基於改進的Chambolle對偶迭代的影象分割方法[J]. 湖南大學學報(自科版), 2013, 40(5):99-102.

為了克服基於對偶迭代的分割方法在要求達到較高精度的分割時收斂較慢的缺點，提出了對二相位分片常數Mumford-Shah模型的一個字問題採用改進的Chambolle對偶迭代進行求解。

基於邊緣的影象分割方法對於噪聲是非魯棒性的，一般帶噪聲的影象不得不進行光滑。而基於區域的影象分割方法利用了區域和邊緣的資訊，它對噪聲是魯棒的。

 

[80]CHAN T F, VESE L A.Active contours without edges[J]. IEEE T Image Process, 2001,10(2):266-277.

提出二相位分片常數Munford-Shah模型，即CV模型，並提出了CV模型的水平集構造。

[81]VESE L A, CHAN T F. Amultiphase level set frarnewerk for image seynertation using the munford and shah model international[J]. Journal of Computer Vision, 2002, 50(3): 271-293. 

多相位分片常數Munford-Shah模型的分割。

[82]塗志剛. 變分光流法在序列影象運動分析中的研究[D]. 武漢大學, 2013.

變分光流法，由於其具備完整的數值理論體系，並且可以獲得較為準確的較高時空解析度的緻密運動場，而成為運動估計技術的優先選項。但由於光流法自身的受約束因素，致使變分光流技術在針對複雜情況（如：噪聲，大位移，光照的均勻性，運動遮擋等）與標準光流產生較大的偏差，使估計精度下降。

處理噪聲汙染——中值濾波技術

處理大位移——Coarse-to-Fine技術

處理噪聲、多運動目標——Robust函式

獲取更高計算精度——影象插值技術（雙線性插值），混合求導法

（光流模型、光流有效性檢測技術、修正光流分量、權重選擇（通過設定誤差評估閾值獲取最優權重）、權重中值濾波和雙邊濾波（更適合遮擋區域：運動特徵分解成邊緣區和遮擋區）結合）

 

 

[83]Ayvaci A, Raptis M, Soatto S. Sparse Occlusion Detection with Optical Flow[J]. International Journal of Computer Vision, 2012, 97(3):322-338.

解決視訊流中遮擋檢測問題。

光流：共同可見的場景的部分可以通過域變形對映到彼此

光流滿足條件：1.朗伯反射 2.恆定光照：ego-motion(幀間運動：場景不是相對光源運動的) 3.場景的可見性常數不變

 

[84]Gibson J, Marques O. Sparse Regularization of TV-L 1, Optical Flow[M]// Image and Signal Processing. Springer International Publishing, 2014:460-467.

 

 

[85]董國華. Horn-Schunck 光流理論研究[D].國防科技技術大學.2013(博士)

   Guohua Dong. Contributions to Horn-Schunck’s Theory on Optical Flow[D]. National University of Defense technology. 2013

Horn-Schunck光流存在的問題：方程組的適定性和可解耦性、方程組解的規則性和輸入影象序列規則性之間的關係、收斂性證明等等。

用二階橢圓方程組理論證明了Horn-Schunck方程組並不存在適定性現象的可能性。

Gibson：We see because we move; we move because we see。

[86]陳鵬光. 基於稀疏模型的運動跟蹤識別演算法[D].東南理工大學.2016(博士)

運動跟蹤識別是計算機視覺的基礎和關鍵技術。論文研究了運動跟蹤識別中光流和遮擋的計算檢測、運動目標的跟蹤和動作識別三個問題。

稀疏表示的特徵是具有穩定重構性和充分降維性。能有效表示影象視訊資料中本質的有意義的關鍵內容，抑制噪聲和遮擋的影響。基於稀疏表示的最小化，能有效地提高運算的效率和魯棒性。

對於遮擋問題，遮擋區域有意義資訊過少導致運動物體出現模糊。論文組合了時空域和變換域中的稀疏特徵表示遮擋，採用Stein-Weiss解析函式作為變分模型正則化函式和稀疏模型的變換函式，建立一個統一的沒有經由稀疏轉換的稀疏模型和伴隨有稀疏轉換的稀疏模型的光流框架。

光流法是運動估計的重要方法。光流是三維速度場在二維平面的投影向量，是運動目標畫素運動產生的瞬時速度場。

稀疏表示的方法融合到計算光流。學習字典

稀疏表示的模型

在稀疏模型中，原始的正則化條件定義：

其中，定義為計算變數中非零項數目的函式，即期望所求的變數是稀疏的。

 

[87]劉龍. 基於Kalman-BP組合模型的變形分析與預測方法研究[D]. 西南交通大學, 2015.

[88]於洪麗. 基於全變分模型的影象去噪方法研究[D]. 瀋陽工業大學, 2015.

[89]連曉峰. 移動機器人及室內環境三維模型重建技術[M]. 國防工業出版社, 2010.

[90]賈鬆敏, 王可, 李秀智,等. 基於變分模型的單目視覺三維重建方法[J]. 光學學報, 2014, 34(4):162-168.

[91]秦寶嶺. 基於光流—場景流的單目視覺三維重建研究[D]. 北京工業大學, 2016.

[92]李秀智, 楊愛林, 秦寶嶺,等. 基於光流反饋的單目視覺三維重建[J]. 光學學報, 2015, 35(5):228-236.

[93]王可.基於變分模型的移動機器人三維環境建模方法研究[D]. 北京工業大學, 2016.(博士)

[94]Gageik N, Strohmeier M, Montenegro S. An Autonomous UAV with an Optical Flow Sensor for Positioning and Navigation[J]. International Journal of Advanced Robotic Systems, 2013, 10(4):1.

 

[95]陳賽. 基於稀疏表示的線上字典學習模型目標跟蹤演算法研究[D]. 江南大學, 2017.

[96]王可. 基於變分模型的移動機器人三維環境建模方法研究[D].北京工業大學, 2016.

[97]羅文峰. 光流計算方法, Optical flow calculation method:, CN 106204637 A[P]. 2016.

[98]王凌, 馮華君, 徐之海,等. 一種基於光流場的複雜背景下人臉定位方法[J]. 計算機工程與應用, 2003, 39(8):68-70.

[99]趙光燦. 基於光流和慣性導航的小型無人機定位方法[J]. 工程技術:引文版, 2016(11):00315-00315.

[100]劉小明, 邢曉嵐, 陳萬春. 一種光流多感測器和慣導器件資訊融合配置方法:, CN 102506892 A[P]. 2012.

[101]孫黎明. 影象稀疏去噪演算法的並行改進研究[D]. 重慶大學, 2011.

[102]Raghunath D R, Kumar P V P, Pradeep C H M, et al. Video denoising using Optical flow estimation & Regularized non-local means[J]. International Journal of Advanced Research in Innovative Discoveries in Engineering and Applications[IJARIDEA], 2017, 2(2): 78-82.

提出一種新的視訊去噪計算方法。

1. 空間視訊去噪策略
2. 短暫視訊去噪技術
   [103]Ho H W, Croon G D, Chu Q P. Distance and velocity estimation using optical flow from a monocular camera[C]// International MICRO Air Vehicles Conferences and Competitions. 2016.
   光流不直接提供運動物體的距離和速度，但可以提供其變化率。
   論文主旨：利用單目相機測得的光流估計運動物體的距離和速度。演算法使用擴充套件的卡爾曼濾波器(EKF)估計運動狀態，並用其估計控制運動物體著陸。
   四