1. 程式人生 > >CNN光流計算--FlowNet: Learning Optical Flow with Convolutional Networks

CNN光流計算--FlowNet: Learning Optical Flow with Convolutional Networks

本文使用CNN網路來計算光流,實現端對端訓練,自己製作了個訓練資料庫 Flying Chairs
這裡寫圖片描述

  1. Network Architectures
    因為最後的結果需要得到畫素級別的,所以需要對CNN網路得到卷積特徵圖進行方法

光流計算的輸入是一個影象對,這裡我們嘗試了兩個網路結構 FlowNetSimple (top) and FlowNetCorr (bottom)
這裡寫圖片描述
FlowNetSimple 直接將兩個影象放到一起輸入網路
FlowNetCorr 首先分別處理單個影象,然後再用一個 correlation layer 將兩個影象的特徵結合起來

特徵圖放大網路結構 Expanding part
這裡寫圖片描述

經過 Expanding part 處理,CNN 特徵圖放大了4倍,和輸入影象尺寸相比縮小了4倍,再放大4倍達到輸入影象尺寸有兩種方法:
1)FCN中的 bilinear upsampling
2)Variational refinement
這裡寫圖片描述

4.1. Existing Datasets
這裡寫圖片描述
合成的資料庫Flying Chairs
這裡寫圖片描述

  1. Experiments
    這裡寫圖片描述

這裡寫圖片描述

FlowNet2.0 就比較厲害了!