1. 程式人生 > >論文筆記《The application of two-level attention models in deep convolutional neural network for FGVC》

論文筆記《The application of two-level attention models in deep convolutional neural network for FGVC》

這篇文章是2015年的,作者使用提出了兩級注意力的方法,來進行細粒度分類。

以鳥類分類為例。作者在object-level和part-level兩個級別分別對鳥進行分類,將得到的分數相加綜合後得到最後的分類結果。

上圖是鳥分類在object-level的一個流程圖,先用selective search從原始圖片中提取大量的patch,然後使用ImageNetI 的LSVRC競賽使用的Alexlet對所有的patch進行挑選(將這個模型稱為FilterNet),將含有鳥的patch挑選出來,這其中是把分類為鳥的分數相加得到一個最終分類結果。然後,將這些FilterNet挑出來的patchs,用來訓練一個新的CNN網路(稱為DomainNet),並用來進行細粒度分類,得到相應的分數。

以上是part-level的流程,作者受其他論文啟發(這些論文證明DomainNet的隱藏層顯示出聚類模式),使用譜聚類的方法,對DomainNet的中間層進行聚類,發現這些不同層的神經元對鳥的不同部位(頭,身子,翅膀等)反應程度不一樣(也就是權重具有聚類模式)。因此將層分為了三類,也就是三個part detector。然後將這三個part detector分別用來對FilterNet挑出來的patchs進行細粒度分類,得到一個分數。最後,作者將每幅圖片的object-level和part-level的分數分數相加,得到最終的分數,即分類結果。下面是整個分類過程的示意圖。

參考文獻:

Xiao T J, Xu Y C, Yang K Y, Zhang J X, Peng Y X, Zhang Z. The application of two-level attention models in deep convolutional neural network for fine-grained image classification. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 842−850