1. 程式人生 > >Learning Attentions: Residual Attentional Siamese Network for High Performance 論文讀後感

Learning Attentions: Residual Attentional Siamese Network for High Performance 論文讀後感

Learning Attentions: Residual Attentional Siamese Networkfor High Performance Online Visual Tracking

                                        2018年CVPR  王強大神的論文。

1. 摘要:

基於離線訓練的目標跟蹤可以很好的平衡準確率和跟蹤速度,但是基於離線訓練的模型來適應線上跟蹤目標仍然是一個挑戰。本文在孿生網路裡面重構了相關濾波、加入了三種Attention機制。該演算法緩解了深度學習中過擬合的問題,同時將表徵學習和判別學習分開來增強演算法的判別能力和適應能力。演算法在OTB2015和VOT2017的跟蹤裡面取得了很好的結果,速度可以到達80fps。

2. 文章的三個主要的貢獻:

    1)端到端的訓練網路。

    2)加入了三種Attention機制:General Attention, Residual Attention, and ChannelAttention。

    3)開發了一種非常有效、高效的基於深度學習的跟蹤器。

3. 演算法跟蹤過程:


      類似於Simfc演算法,將標註好的第一幀傳入到網路裡面,先提取特徵的得到的特徵圖分為兩條路,一條是直接傳到加權相關濾波,另一條是經過三個Attention機制再傳到相關濾波。將基於上一幀的得到的搜尋區域提取特徵圖之後直接傳到相關濾波里面,相關濾波對傳入的三種特徵圖做處理,得出跟蹤目標在當前幀中所在的位置。由於只有第一幀經過三個Attention網路提取特徵所以說速度相對於Simfc並不會慢很多。

4. Attention機制

    4.1 General Attention:網路在訓練的時候得到的一個包含訓練樣本通用資訊的特徵圖,得到不同的跟蹤目標之間的共同的特徵。

    4.2 Channel Attention:不同的通道得到的特徵圖不一樣,通過這個機制來選取對跟蹤效果比較好的通道,剔除噪聲通道。

    4.3 Residual Attention:通過沙漏網路得到跟蹤目標之間的差異的特徵圖。

   將4.3和4.1的特徵圖相加就可以得到不同視訊中跟蹤目標共同的特徵和區別。

5.加權相關濾波:


作者認為藍色的框比綠色的框更能表示所跟蹤的目標。所以用加權相關濾波來表示這種特徵,找到一個響應值最大的跟蹤框(找到圖中藍色的跟蹤框)。

6. 跟蹤結果:(沒什麼好說的,就是效果好速度快。)


論文總結:通過channel attention 選取對目標有用的通道,剔除噪聲通道。Residual  attention和General attention用來找到不同視訊跟蹤目標之間的共同的特徵和區別。加權相關濾波就是用來找到最後最好的跟蹤框。

論文看的還不是很明白,有什麼錯誤還請大家指正。