細粒度影象識別Object-Part Attention Driven Discriminative Localization for Fine-grained Image Classification（OPADDL） 論文筆記

原文："Object-Part Attention Model for Fine-grained Image Classification", IEEE Transactions on Image Processing (TIP), Vol. 27, No. 3, pp. 1487-1500, Mar. 2018.
作者：Yuxin Peng, Xiangteng He, and Junjie Zhao（北京大學）
下載地址：https://arxiv.org/abs/1704.01740 
 
【pdf】

細粒度影象識別系列其他文章：

1 簡介

• 細粒度影象識別是現在影象分類中一個頗具挑戰性的任務，它的目標是在一個大類中的數百數千個子類中正確識別目標。相同的子類中物體的動作姿態可能大不相同，不同的子類中物體可能又有著相同的動作姿態，這是識別的一大難點。細粒度影象分類的關鍵點在尋找一些存在細微差別的區域性區域（比如鳥類的喙、眼睛、爪子等），因此，現有的細粒度影象識別演算法不但尋找影象中的整個物體（object），還尋找一些有區別的區域性（part）。
  
  
• 過去常用的生成object和part演算法為Selective search，但它的召回率高，精準度低。細粒度影象識別中的尋找object和part可以視為一個兩級注意力模型，一級是尋找object，另一級是尋找parts。大多數演算法在訓練尋找object和part的網路時都依賴於object-level attention 和 parts annotations等額外標註
  ，這是一個非常大的勞動量。此為第一個限制。
• 雖然現在有很多人開始不用annotations來訓練尋找object和part的網路，但他們的生成方法破壞了object和parts之間的關聯性，這就導致生成的parts包含大量背景，且parts之間互相重疊嚴重。此為第二個限制。
• 為了解決上述兩個限制，作者提出了object-part attention driven discriminative localization(OPADDL)方法。它在生成object和part方面使用了兩個模型：
  
  • Object-Part Attention Model：該模型可以不利用人工annotaions資訊來生成object和parts。它的注意力分為兩級：Object級注意力模型
    利用CNN中的全域性平均池化提取saliency map，以定位物體在圖中的位置；Part級注意力模型首先選出有區別的部分，然後再把它們根據神經網路中的 cluster pattern 排列起來，以學習區域性特徵。將兩級模型連線起來，就可以增強multi-view and multi-scale的特徵學習。
  • Object-Part Spatial Constraint Model：該模型同樣分為兩個約束：Object級空間約束強行讓選擇出來的parts定位到object區域中；Part級空間約束減少parts中的重疊，且強調parts的顯著性，這樣可以消除重複且提高parts的區分性。兩種空間約束聯合起來，不僅可以發現更多顯著的區域性細節，還可以大大提高細粒度影象分類的準確率。
• 最後強調一下，作者使用的弱監督方法，即訓練和測試時不用任何annotations！

2 相關工作

• 本章就不詳細展開了，有興趣的讀者可以看看原文。提一下，現有的細粒度影象識別方法可以分成三類：Ensemble of Networks Based Methods、Visual Attention Based Methods、Part Detection Based Method。

3 OPADDL模型

• OPADDL模型的全部結構正如上圖所呈示，咋一看模型十分複雜，接下來我們把模型進行拆分，一塊一塊地說明。

A. Object-level Attention Model

• 現有的很多弱監督模型著重於提取parts，而忽略了object的定位，事先提取object是可以除去很多背景噪聲的。作者使用saliency extraction方法來自動定位object，其中分為兩個內容：Patch Filter濾掉一張圖中的背景patch，保留和object有關的patch來訓練一個CNN網路ClassNet；Saliency Extraction通過全域性平均池化（GAP）提取saliency map，完成object的定位。整個網路稱為ObjectNet。
  
  • Patch Filter：對於一張圖，作者先用傳統的selective search生成一堆patch，再用一個事先在ImageNet上預訓練好的CNN（作者稱之為FilterNet）進一步篩掉更多的背景patch。篩選的準則就是設定一個閾值，CNN的softmax層的輸出（根據標籤）高於閾值才保留。注意這個patch filter只在訓練階段使用，測試時就直接上ClassNet了。
  • Saliency Extraction：Saliency map表明有在CNN子類別識別中做出貢獻的區域（Fig.4第二行）。上一步用patch filter篩出一些包含pbject的patch後，用CAM來生成子類別c的saliency map \(M_c\)接著根據saliency map就可以生成定位框（Fig.4第三行）。具體生成M的公式如下：

B. Part-level Attention Model

和上面對應，B小節整個網路統稱為“PartNet”。

Object-Part Spatial Constraint Model

• 本小節說的是object和part兩個級別的空間約束。上面已經提到過了，沒有object空間約束會使提取的parts包含大量背景，而沒有parts空間約束會使提取的parts大量重疊，有些關鍵part被忽略。
• 給定一張影象\(I\)，它的saliency map \(M\)和object邊緣\(b\)已經從小節A中獲得。接下來以\(\mathbb{P}\)表示selective search生成的所有patch集合，\(P=\{p_1,p_2,...p_n\}\)代表選出來的n個parts。整個約束要做的事情就是實現如下最大值優化：

• \(\Delta_{box}(P)\)表示object的空間約束。具體定義如下圖。從定義可以看出，該約束就是為了鼓勵parts和object儘可能重疊，IOU過閾值的個數越多，分數越高。

• \(\Delta_{parts}(P)\)表示parts空間約束。既然saliency map可以表現出影象有區別的地方，作者就將saliency和parts的空間關係聯合起來定義約束：

Part Alignment

• 通過上面約束模型求解出來的n個patch是無序的，在這一節裡面將把它們按語義分類好（哪些是頭，哪些是腳等等）。按語義分類的主要依據是CNN倒數第二層輸出不同通道的響應區別，有些通道可能對頭部有明顯響應，有些則對腳有明顯相應。
• 首先計算兩個神經元\(u_iu_j\)的相似矩陣\(S(i,j)\)，接著用譜聚類把神經元分成m個簇。具體的操作步驟如下：
  
  • 改變patch的尺寸，讓它傳播到網路倒數第二層時只有1*1大小（單值）；
  • 前向傳播patch，每個通道都得到一個分數；
  • 每個簇內的通道值相加得到簇的分數（共m個分數）；
  • 一個patch哪個簇分數最高，就把這個patch歸到哪一類去，最後這些patch就能按語義被分成幾類簇。整個演算法如下描述：
    

C. Final Prediction

• 上面出現了許多網路，現在總結一下。ClassNet關注的是原始影象，ObjectNet關注的是目標object，PartNet關注的是區域性parts。ObjectNet裡面還有FilterNet。
• Object-level注意模型首先利用FilterNet生成與object相關的patch，這些patch又推動ClassNet更好地學習特徵和目標定位。part-level注意模型選擇出合適的區域性資訊。
• 最後的得分方式是：
  
  三個分數分別代表了ClassNet、ObjectNet、PartNet的softmax值，\(\alpha, \beta\, \gamma\)通過交叉驗證來選擇，以使final_score最高。

4 實驗

資料集

• 文章中使用了三個常用細粒度影象資料集：CUB-200-2011（鳥類）、Cars-196（汽車）和Oxford-IIIT Pet（貓狗等寵物）。評價標準很簡單，正確識別數除以總數。

網路細節

• 定位和分類網路都用VGGNET作為原型。定位網路中，VGG的conv5-3被移除，並且替換成3*3卷積核，1 padding，1024通道的卷積層，後面跟著GAP和softmax。修正後的VGGNET在ImageNet上預訓練好。
• 分類網路還加上了batch normalization。由於要識別原始影象、object和parts三塊，每個都用相同的CNN結構，只是訓練資料不同。

分類結果

• CUB-200-2011上85.83%；Cars-196上92.19%；Oxford-IIIT Pet上93.81%。三個都是當前最高。

轉載別人對自己論文的筆記的滋味真是複雜啊。。