1. 程式人生 > >Self-Supervised Learning for Stereo Matching with Self-Improving Ability

Self-Supervised Learning for Stereo Matching with Self-Improving Ability

首先呢,這是一個非監督演算法,因此它約束的方式就是左右一致性檢測,用warp來處理左右圖,詳見3.1。作者聲情並茂的講述自己就是不要gt。。

網路結構


五部分組成 特徵提取 交叉特徵向量融合 3D特徵匹配 soft-argmin 最後通過影象warp來做約束。

特徵提取

有了特徵提取,就可以不虛那些複雜區域啦。以往傳統的方法相當於是取畫素域的原始特徵,而深度學習取得特徵則是自己去學的

具體特徵怎麼取的呢,是跟GC-Net一樣的。

構建特徵向量

通過學習的特徵來構建匹配代價空間,需要先對視差範圍做一個確定,然後將左右特徵圖片concated起來,從而生成最終的特徵向量


左圖複製D份,右圖平移D。然後相間的concat。

對3D特徵進行regularization


3D卷積反捲積

所以這篇文章就是非監督的GC-Net

簡直一模一樣~~~

真的是醉了

浪費了時間讀這篇文章。。