用收縮損失 (Shrinkage Loss) 進行深度迴歸跟蹤

摘要： Winter is coming！ 看過冰與火的你應該很熟悉這句，有興趣的可以去好好觀賞一番。但是今天我和大家說的是目標跟蹤的內容，如果在這部美劇使用了目標跟蹤的技術，又是另一個結局。言歸正傳，我們還是回到真正的目標跟蹤技術。 今天主角就是“Shrinkage Loss...

Winter is coming！

看過冰與火的你應該很熟悉這句，有興趣的可以去好好觀賞一番。但是今天我和大家說的是目標跟蹤的內容，如果在這部美劇使用了目標跟蹤的技術，又是另一個結局。言歸正傳，我們還是回到真正的目標跟蹤技術。

今天主角就是“ Shrinkage Loss ”。

01  簡述

迴歸跟蹤器直接學習一個 從目標物件的定期密集抽樣到軟標籤(由高斯函式生成)來估計目標位置的對映。由於具有快速跟蹤和易於實現的潛力，迴歸跟蹤器最近受到越來越多的關注。然而，最先進的深度迴歸跟蹤器的效能不如基於相關濾波的跟蹤器。

現在主要的瓶頸是迴歸學習過程中的極端前景背景資料不平衡。為了平衡訓練資料，提出了一個收縮損失（ Shrinkage Loss ）來懲罰簡單訓練資料的重要性。為了進一步促進迴歸學習，使用殘差連線融合多個卷積層及其輸出響應圖。

02  背景技術

現有的跟蹤檢測方法主要由兩個階段組成，即在第一階段提取大量的目標樣本，第二階段將每個樣本分類為目標或背景。

相反， one-stage 迴歸跟蹤器直接學習從目標物件的定期密集抽樣到由高斯函式生成的軟標籤來估計目標位置的對映。 One-stage 迴歸追蹤器最近受到越來越多的關注，因為它們比 two-stage 跟蹤器更快、更簡單。最先進的 one-stage 跟蹤器是基於判別相關濾波器(DCFS)，而不是深度迴歸網路。儘管DCFS跟蹤器在最近的基準測試中效能最好，但由於學習和更新DCFS不依賴於深度特徵提取，所以它很少利用端到端訓練的優勢。

而本次的技術研究了深度迴歸跟蹤器的效能瓶頸，其中迴歸網路由完全可微的卷積層組成，可以端到端的方式進行訓練。與DCFS相比，深度迴歸網路具有更大的利用大規模訓練資料的潛力，並且至少可以像DCFS那樣進行魯棒跟蹤。

其實，影響深度迴歸跟蹤器實現最先進精度的主要瓶頸是迴歸學習中的資料不平衡問題。

03  相關工作

視覺跟蹤是近十年來綜合調查的一個活躍的研究課題。在本段，首先討論了 two-stage 分類模型和one- stage 迴歸模型的代表性跟蹤框架，然後簡要回顧了分類和迴歸學習中的資料不平衡問題。

Two-Stage Tracking

Two-stage 跟蹤框架主要由兩個階段組成：第一階段使用隨機抽樣、規則密集抽樣或區域候選生成一組候選目標樣本；第二階段將每個候選樣本分類為目標物件或背景，為學習正負樣本之間的判別邊界作出了大量努力。示例包括MIL和Struck方法。

MIL：

• Babenko, B., Yang, M., Belongie, S.J.: Robust object tracking with online multiple instance learning. TPAMI 33(8) (2011)

Struck：

• Hare, S., Saffari, A., Torr, P.H.: Struck: Structured output tracking with kernels. In: ICCV. (2011)

• Ning, J., Yang, J., Jiang, S., Zhang, L., Yang, M.: Object tracking via dual linear structured SVM and explicit feature map. In: CVPR. (2016)
  

儘管在具有挑戰性的目標跟蹤基準上具有良好的效能，但我們注意到 two-stage 深度跟蹤器在將影象中的樣本直接輸入到神經網路中時，其計算量很大，與目標檢測不同，視覺跟蹤強調樣本間的微小位移來精確定位目標。T wo-stage 深度跟蹤器從最近提出的ROI池化方案中獲益不大，因為它不能突出高度重疊的樣本之間的區別。

One-Stage Tracking

One -stage 跟蹤框架以搜尋區域為輸入，並通過學習迴歸器直接輸出響應圖，後者將輸入特徵迴歸為高斯函式生成的軟標籤。最流行的o ne-stage 跟蹤器中有一類是基於相關濾波器，它將輸入搜尋區域的所有迴圈移位版本回歸到軟標籤中。傅立葉領域，基於相關濾波器的跟蹤器達到了迄今為止最快的速度，相關跟蹤器的許多擴充套件包括KCF，IMCF，MCPF和BACF。

Data Imbalance

資料不平衡問題在學術界得到了廣泛的研究，常用的解決方法包括資料重取樣策略和成本敏感策略。（Li, H., Li, Y., Porikli, F.M.: Robust online visual tracking with a single convolutional neural network. In: ACCV. (2014)）採用時間抽樣方案平衡陽性和陰性樣本，以便利CNN培訓。（Bertinetto, L., Valmadre, J., Henriques, J.F., Vedaldi, A., Torr, P.H.S.: Fullyconvolutional siamese networks for object tracking. In: ECCV Workshops. (2016)）平衡預訓練前分數對映中正負樣本的損失。MDNet表明，在訓練分類網路中挖掘難負樣本是至關重要的。最近關於密集目標檢測的工作提出通過減少不平衡樣本的損失來減少 focal loss 。

04  演算法

本次技術提出的跟蹤演算法是基於 One-stage 深度迴歸網路的，提出了一種新的收縮損失來處理迴歸學習中的資料不平衡問題。

Convolutional Regression

卷積迴歸網路將由高斯函式生成的軟標籤輸入的密集抽樣迴歸。這裡，我們將回歸網路定義為一個卷積層。形式上，學習迴歸網路的權值是為了解決以下最小化問題：

Shrinkage Loss

為了學習卷積迴歸網路，輸入搜尋區域必須包含大量圍繞目標物件的背景(如下圖(A)，由於周圍的背景包含有價值的上下文資訊，背景的大面積有助於增強背景下目標物件的識別能力，但這也增加了大量來自背景的簡單樣本，這些容易的樣本在總體上造成了很大的損失。使學習過程不知道有價值的樣本接近目標。

最近在稠密物體檢測方面的工作表明，在熵損失中增加一個調節因子有助於緩解資料不平衡問題。調製因子是輸出可能性的函式，目的是減少簡單樣本的損失。在迴歸學習中，這相當於使用絕對值L的指數形式重新加權平方損失，如下所示：

下圖(A)顯示了具有不同超引數的調製函式的形狀。當應用調製因子對平方損失進行加權時，建議的收縮損失如下：

Convolutional Layer Connection

CNN模型由多個卷積層組成，強調不同層次的語義抽象，對於視覺跟蹤來說，具有細粒度空間細節的早期層有助於精確定位目標物件；而後層則保持目標物件的語義抽象，對顯著的外觀變化具有魯棒性。

為了利用這兩種優點，現有的深度跟蹤器在多個卷積層上獨立開發模組，並將相應的輸出響應圖與經驗權重整合起來。

不同的方案融合卷積層

05  實驗

使用OnePass評估(OPE)在OTB-2013和OTB-2015資料集的總體效能

該方法在 Temple Color  128資料集上的總體效能，本次分享的技術取得了最佳的距離精度和第二好的重疊成功率。

視覺化結果

OTB-2015上不同層連線的總體效能

06  總結

本次技術重新研究了基於深度迴歸網路的one-stage跟蹤器，找出了阻礙 one-stage 迴歸跟蹤器取得最先進結果的瓶頸，特別是與DCFS跟蹤器相比，主要的瓶頸在於學習迴歸網路中的資料不平衡。

於是，提出了一種收縮損失，以便於學習迴歸網路具有更高的精度和更快的收斂速度。為了進一步改進迴歸學習，利用了目標物件的多層語義抽取。通過多個卷積層作為特徵。將剩餘連線應用於卷積層及其輸出響應圖。本次技術的網路是完全可微的，並且允許進行端到端的訓練。

成功地縮小了 one-stage 深度迴歸跟蹤器和DCFS跟蹤器之間的效能差距。在四個基準資料集上的廣泛實驗表明，與最先進的演算法相比，所提出的跟蹤器的有效性和效率。

若有興趣，請去“計算機視覺戰隊”公眾平臺慢慢去欣賞