1. 程式人生 > >顯著性檢測綜述(完整整理)

顯著性檢測綜述(完整整理)

 轉載請附連結,註明出處。

顯著性物件檢測綜述

一、    程明明等人的論文:Salient Object Detection: A Surve(簡單歸納了文章中的我認為比較重要的部分)

該論文旨在全面回顧突出顯示目標檢測的最新進展,並將其與其他密切相關領域(如通用場景分割,目標建議生成以及固定預測的顯著性)相關聯。主要內容涉及i)根源,關鍵概念和任務,ii)核心技術和主要建模趨勢,以及iii)顯著性物體檢測中的資料集和評估指標。討論並提出了未來的研究反向等開放性問題。

1.介紹

1.1 什麼是顯著性物體

提到一般認為,良好的顯著性檢測模型應至少滿足以下三個標準:1)良好的檢測:丟失實際顯著區域的可能性以及將背景錯誤地標記為顯著區域應該是低的;2)高解析度:顯著圖應該具有高解析度或全解析度以準確定位突出物體並保留原始影象資訊;3)計算效率:作為其他複雜過程的前端,這些模型應該快速檢測顯著區域。

1.3顯著物體檢測歷史

(1)Itti等人提出的最早、經典的的顯著模型。例如[24]一文掀起了跨認知心理學、神經科學和計算機視覺等多個學科的第一波熱潮。

(2)第二波熱潮由劉等人的[25],[55]和Achanta等人的[56]掀起,他們將顯著性檢測定義為二元分割問題,自此出現了大量的顯著性檢測模型。

(3)最近出現了第三波熱潮,卷積神經網路(CNN)[69],特別是引入完全卷積神經網路[70]。與基於對比線索的大多數經典方法不同[1],基於CNN的方法消除了對手工特徵的需求減輕了對中心偏見知識的依賴,因此被許多科研人員所採用。基於CNN的模型通常包含數十萬個可調引數和具有可變接受欄位大小的神經元。神經元具有較大的接受範圍提供全域性資訊,可以幫助更好地識別影象中最顯著的區域。CNN所能實現前所未有的效能使其逐漸成為顯著性物體檢測的主流方向。

2. 現狀調查

本節主要回顧三部分內容:1)顯著性物體檢測模型;2)應用;3)資料集。

2.1 經典模型(非常詳細)

2.1.1 具有內線上索的基於塊的模型

有兩個缺點:1)高對比度邊緣通常突出而不是突出物體;2)凸顯物體的邊界不能很好地儲存。為了克服這些問題,一些方法提出基於區域來計算顯著性。兩個主要優點:1)區域的數量遠少於區塊的數量,這意味著開發高效和快速演算法的潛力;2)更多的資訊功能可以從區域中提取,領先以更好的表現。

2.1.2 具有內線上索的基於區域的模型(圖4)

基於區域的顯著性模型的主要優勢:1)採用互補先驗,以提高整體效能,這是主要優勢;2)與畫素和色塊相比,區域提供更復雜的線索(如顏色直方圖),以更好地捕捉場景的顯著物件;3)由於影象中的區域數量遠小於畫素數量,因此在生成全解析度顯著圖時,區域級別的計算顯著性可以顯著降低計算成本。

2.1.3 具有外部線索的模型(圖5)

2.1.4 其他經典模型(圖6)

區域性化模型、分割模型、監督模式與無監督模式、聚合和優化模型

2.2 基於深度學習的模型

2.2.1 基於CNN(經典卷積網路)的模型

CNN大大降低了計算成本,多級特徵允許CNN更好地定位檢測到顯著區域的邊界,即使存在陰影或反射。但CNN特徵的空間資訊因為使用了MLP(多層感知器)而無法保留。

2.2.2 基於FCN(完全卷積網路)的模型

該模型具有儲存空間資訊的能力,可實現點對點學習和端到端訓練策略,與CNN相比大大降低了時間成本。但在具有透明物體的場景、前景和背景之間的相同對比度以及複雜的背景等情況無法檢測顯著物體。

元素: PI=畫素,PA=補丁,PE=區域,字首m和h分別表示多尺度和分層版本。

假設: CP=中心先驗,G=全域性對比度,L=區域性對比度,ED=邊緣密度,B=背景先驗,F=先驗焦點,O=先驗物體,CV=先驗凸度,CS=中心環繞對比度,CLP=先驗顏色,SD空間分佈,BC=邊界連通之前,SPS=稀疏噪聲。

聚合/優化: LN=線性,NL=非線性,AD=自適應,RI=分層,BA=貝葉斯,GMRF=高斯MRF,EM=能量最小化,LS=最小二乘解

線索 :GT=地面真值註釋,SI=相似影象,TC=時間線索,SCO=顯著性實現,DP=深度,LF=光場。

對於顯著性假設 : P=通用屬性,PRA=預注意線索,HD=高維特徵空間中的判別性,SS=顯著性相似性,CMP=顯著性提示的互補,SP=取樣概率,MCO=運動相干性,RP=重複性,RS=區域相似度,C=相應,DK=領域知識。

其他 : CRF=條件隨機場,SVM=支援向量機,BDT=提升決策樹,RF=隨機森林

4 資料集和評估措施

4.1 顯著物件檢測資料集

早期的帶有包圍框的突出物體影象:MSRA-A和MSRA-B

使用畫素方式的二進位制掩碼來註釋顯著物件:ASD和DUT-OMRON

具有複雜和雜亂背景中的多個物件的資料集:[22]、[23]、[26]

4.2 評估措施(5個)

用S表示歸一化為[0,255]的預測顯著圖,G是顯著物件的地面正式二進位制掩模

(1) 精確召回(PR)。首先將顯著圖S轉化為二進位制掩碼M,然後通過將M與地面真值G進行比較來計算Precission和Recall:

(2) F值:通常Precission和Recall都不能完全評估顯著圖的質量,為此提出F值作為Precission和Recall的非負權重的集權跳河平均:

(3) ROC(Receiver Operating Characteristic)曲線:是以假正率(FP_rate)和假負率(TP_rate)為軸的曲線

(4)ROC曲線下面積(AUC)AUC越大效能越好

(5) 平均絕對誤差(MAE):進行更全面的比較。

圖12,比較流行的顯著性物件檢測資料集:

二、    傳統顯著性檢測內容補充(論文中的分類和自己平時習慣不一致,所以重新收集資料整理了一下)

常用顯著性檢測方法:

1.  認知模型

幾乎所有模型都直接或間接地受認知模型啟發而來,其一大特點是與心理學和神經學相結合。Itti模型(使用三個特徵通道:顏色、屬性、方向)是這一類模型的代表,也是後來很多衍生模型的基礎

2.  資訊理論模型

本質是最大化來自所處視覺環境的資訊,其中最有影響力的模型是AIM模型。

3.  圖論模型

基於圖輪的顯著性模型把眼動資料看成時間序列,使用了隱馬爾科夫模型、動態貝葉斯網和條件隨機場等方法。圖模型可以對複雜的注意機制建模,因此能取得較好的預測能力,缺點在於模型的高複雜度,尤其涉及訓練和可讀性時。典型模型有:GBVS等

4.  頻域模型

基於頻譜分析的顯著性模型,形式簡潔,易於解釋和實現,並且在注意焦點預測和顯著區域檢測方面取得了很大的成功,但其生物合理性不是非常清楚。經典模型有:頻譜殘差的顯著性檢測模型(純數學計算方法)。

參考資料連結:

三、    基於深度學習的顯著性檢測內容補充(論文是2014年所寫,關於深度學習部分不夠完善,因此在此又補充了一下)

基於深度學習的顯著性目標檢測研究發展初期從物體檢測神經網路到OverFeat,一直難以取得理想的效果。2014R-CNN的誕生成為第一個真正可以工業級應用的方案,其在VOC2007測試集的mAP提升至66%。但R-CNN框架仍然存在很多問題:

1) 訓練分為多個階段,步驟較為繁瑣:微調網路+訓練SVM+訓練邊框迴歸器

2) 訓練耗時,佔用磁碟空間大:5000張圖片產生幾百G的特徵檔案

3) 速度慢:使用GPUVGG-16模型處理一張影象需要47s

截止目前,基於深度學習的顯著性目標檢測研究可以分為基於區域建議的深度學習目標檢測基於迴歸的深度學習目標檢測兩個類別。

基於區域建議的深度學習目標檢測方法有:R-CNNSPP-netFastR-CNNFaster R-CNNR-FCN等。

1) R-CNN(Regions with CNN features)重複計算,時間、空間代價較高;

2) SPP-net(Spatial Pyramid Pooling)強化了CNN的使用,允許輸入大小不一致的圖片,進一步強調了CNN特徵計算前移、區域處理後移的思想,極大節省計算量,但不是端到端的模型且CNN特徵提取沒有聯動調引數;

3) FastR-CNN的出現解決了前兩者重複計算的問題,實現了區域建議到目標檢測一端的卷積共享,首次提出的RoI Pooling技術極大地發揮區域後移的優勢,加快了訓練速度,採用VGG-16作為CNN網路模型,聯動呼叫引數提升了實驗效果,但是依然沒有實現端到端的模型,對SS區域建議依賴嚴重;

4) Faster R-CNN棄用選擇性搜尋,提出了RPN網路來計算候選框,使用端到端的網路進行目標檢測,無論在速度上還是在精度上,都得到了極大的提高,但在速度上並不能滿足實時的需求,對每個建議分類計算量仍較大,功能上沒有進入例項分割階段。

基於迴歸的深度學習目標檢測方法有:YOLOSSDG-CNNNMS等。

1) YOLO(You Only Look Once)將目標檢測任務轉換成迴歸問題,大大簡化了檢測的過程、加快了檢測的速度,但預測目標視窗時使用的是全域性資訊,冗餘度高,且沒有區域建議機制後檢測精度不高;

2) SSDSingle ShotMultibox Detector)預測某個位置時使用的是該位置周圍的特徵,結合YOLO的迴歸思想以及FasterR-CNN中的候選區域機制,既保持了YOLO速度快的特性,也保證了精確定位;

3) G-CNN著力於減少初始化建議數量,使數以萬計的建議變成極少的初始格網,提升了檢測速度;

4) NMS(Non Maximum Suppression)則通過迭代的形式去除重複候選框,取置信率最大的框。

當前實際應用中,基於區域建議的深度學習目標檢測使用更為廣泛。

當前基於深度學習的顯著性檢測研究方法:

R-CNN系列顯著性目標檢測框架和YOLO顯著性目標檢測框架給了我們進行基於深度學習的目標檢測兩個基本框架。目前研究人員基於這些框架從其他方面入手提出一系列提高目標檢測效能的方法。如:難樣本挖掘、多層特徵融合、使用上下文資訊、更深網路學習的特徵等。

 (本來是熬了個夜準備組會的稿子~結果最後也沒彙報成,有種換好衣服結果告訴我不用出門了,小失落~)