1. 程式人生 > >GMS快速高魯棒性特徵學習

GMS快速高魯棒性特徵學習

優點:

加入平滑約束項的特徵匹配具有高魯棒性匹配效果。

該文章提出GMS:一種簡單方法封裝運動平滑來作為資料估計區域中一個確定數量的匹配。GMS可以將高數量匹配轉換成高質量匹配。這實現了一種實時,高魯棒性的系統。對於計算的視訊,要求具有低紋理,低模糊。

特徵數也影響質量。找更多的特徵比找新的描述子要簡單。特徵匹配是許多計算機視覺演算法的基本輸入。因此,它的速度、精度和魯棒性至關重要。目前,各種效能之間:強大的特徵的匹配和更快的(但往往不穩定)仍是需要考慮的問題。

中心問題是相干約束(相鄰畫素共享相似運動)在更強大的特徵對應技術中的應用。一致性是一個強大的約束,但稀疏的特性缺乏定義良好的鄰居。這將導致基於相干的特徵對應既昂貴又複雜。本文提出了GMS(網格運動統計),封裝運動平滑作為統計有一個區域對之間的特徵匹配一定數量的可能性的一種手段。我們表明GMS能夠快速可靠地區分真實和錯誤匹配,從而實現圖1中的高質量通訊。

我們的論文從BF獲得靈感。BF強調,明顯缺乏特徵匹配並不是因為正確匹配的次數太少,而是因為可靠地分離真與假匹配的困難。BF證明了使用一個複雜的最小化的相干度量實現這種分離的可行性。在實踐中,BF很好(儘管緩慢)。然而,它主要是由觀察和直覺驅使的。由於缺乏理論上的清晰性,研究人員必須依賴於許多波動因素對影象資料的實證檢驗,這使得改進變得困難。

使用的複雜平滑約束的作用:運動平滑導致不太可能隨機出現的對應簇。因此,可以通過簡單地計算鄰域內的匹配數來區分真與假匹配。從大數定律,真實和虛假的尺度與匹配數無限的partionablity。數學分析是直接的,但結果可能是正規化轉換。

先前的特徵匹配論文假設匹配質量主要隨特徵不變性/顯著性的提高而增大。GMS揭示了改進的新方向;原始特徵數也會影響質量。由於發現更多的特性比設計新的描述符更簡單,GMS可能為以前難以解決的匹配問題提供簡單的解決方案。


1.將運動平滑約束轉化為剔除虛假匹配的統計測度。我們顯示這個約束使匹配以前難處理的場景;

2.開發一個高效的基於網格的分數估計可以納入實時特徵匹配;

3.證明用標準比率測試,GMS系統明顯優於傳統的SIFT、SURF和最近的CNN trained LIFT features。

特徵匹配的基礎工作試圖提高特徵描述符的顯著性/不變性,並改進區域性化。例子包括經典的作品如SIFT、ORB 、 SURF、A-SIFT,Harris角點和仿射協變區域探測器。 
 這些作品中有許多GPU加速允許真正(或接近真實)的時間效能。此外,還有FLANN作品加速特徵匹配。這些研究仍在進行中,最近的例子是使用CNN trained LIFT descriptors。這些作品一起構成了我們所構建的核心技術集。

唯一依賴描述符的問題是區分真與假匹配的困難。這樣就消除了很大一部分真實匹配,從而限制了假匹配。RANSAC可以利用幾何資訊來緩解這個問題。然而,RANSAC演算法本身需要最錯誤的匹配預先消除不能容納所有的近鄰集誤匹配的數量相匹配。

更普遍的是,該文章的工作是基於光流相關,相干技術,基於塊匹配的匹配,直接使用平滑幫助匹配估計。這些技術可能非常強大。然而,它們也更加複雜和昂貴。最後,我們認識到,從AdaBoost這樣的學習者身上得到的啟示,將多重學習者融入到一個強大的學習者身上。GMS通過使用平滑約束來整合多個匹配的資訊,從而做出高質量的決策,從而共享了這種設計理念。

給定一對從同一三維場景的不同檢視拍攝的影象,特徵對應意味著一個影象中的畫素(特徵點)被標識為另一個影象中的相同點。如果運動平滑,相鄰畫素和特徵一起移動。這使我們能夠作出如下假設:

運動平滑產生一個(小)鄰域周圍的真實匹配對應相同的三維位置。同樣,一個錯誤匹配對應不同的三維位置。

這裡的鄰域被定義為一對區域。假設1意味著真正匹配的鄰域,檢視相同的3D區域,從而在兩個影象中共享許多相似的特性。在相鄰結果區域中有許多支援的匹配。與此相反,偽匹配鄰域檢視不同的3D區域,具有相似的特徵少得多。這減少了匹配支援。我們將這種演算法封裝成一個稱為GMS的統計框架,它可靠地區分真假匹配。

結果:

最近鄰匹配趨於完善,MT趨於最大值,MF,其最小達到區域性最優。因此,如果設定一個固定的閾值,GMS的結果將更好地在更容易的場景與高T值。這是未知和場景依賴t重要性。它還增加了GMS的通用性,允許它擴充套件特性描述符設計的改進。

編譯細節

使用opencv的ORB特性。特徵號固定在10000,是實時效能允許的最大數量。大型,紋理良好的影象可以有超過10000個功能。這會導致特徵分佈不均(聚集在一個角落)。紋理較小的影象可以有少於10000個不同的特徵。前者的問題是調整所有圖片480×640解決。 
 後者通過設定快速特徵閾值為零。這允許在弱紋理環境中匹配(參見附帶的視訊)。最近鄰在GPU上用brute-force漢明距離比較發現。這與基於CPU的特徵檢測並行執行。這是兩個開銷最大的模組。最後,真正的匹配是通過GMS演算法篩選出的。這一步需要1ms的單執行緒的CPU時間。

實驗採用6個低紋理、模糊的視訊序列進行測試。

實驗的精確率、召回率如下圖所示:


圖中紅藍虛線為該演算法。可以看出本文的精確度、召回度遠高於其他演算法。

該演算法在處理視訊時,使用GPU進行計算,可達到每秒27幀。