1. 程式人生 > >論文筆記 SSD: Single Shot MultiBox Detector

論文筆記 SSD: Single Shot MultiBox Detector

話不多說開始總結,作為新一個快速高效的目標檢測演算法,SSD結合了Faster RCNN和YOLO 演算法。

本文主要提出的貢獻有以下幾點:

(1)提出SSD演算法,比YOLO演算法更加迅速,同時和速度較慢的執行region proposal與pooling的演算法的精度一樣好(包括faster R-CNN)
(2)SSD演算法的核心是通過使用在特徵圖上的小卷積濾波器,來預測類別置信度和一系列有誤差的bounding box的box補償
(3)為了提高檢測精度,我們在不同尺度的feature map上進行不同尺度的預測,通過縱橫比進行準確的預測值分割
(4)整體上,這些設計的特徵獲得了簡單的end-to-end的訓練,並獲得了高精度,甚至在輸入影像解析度較低的情況下,依然可以進行速度與精度的同時平衡
(5)實驗主要對於在PASCAL VOC, MS COCO, ILSVRC資料上,對於其他方法進行了時間上和精度上的對比。

模型

下面即為SSD與YOLO演算法的模型對比圖:
SSD與YOLO模型對比

SSD方法主要基於一個前饋的卷積神經網路,來產生bounding box集合和box上的不同類的分數,緊接著進行非極大值抑制,完成最終的檢測過程。開始的網路層主要是基於高質量影像分類的標準結構的縮短版,作為基礎網路,然後新增以下幾個輔助結構到網路裡:

(1)用於檢測的多尺度特徵圖

在縮短版的基礎網路後添加捲積特徵層,這些層根據尺度要求進行逐漸減少,確保預測的檢測結果多尺度。和OverFeat和YOLO的單一尺度特徵圖相比,是有較大不同的

(2)用於檢測的卷積預測運算元

每一個新增的特徵層,通過卷積一系列濾波器,可以產生一系列檢測的預測結果,
對於一個m*n的p個通道的特徵層,候選檢測結果的預測引數是3*3*p個小核。對於每一個m*n位置處對kernel進行應用,同時產生一個輸出值。bounding box補償的輸出值和每一個feature map位置上的box位置補償值對比,這裡不同於YOLO方法使用的全連線層,而使用卷積濾波

(3)錯誤的box與縱橫比

我們將每一個錯誤的bounding box和每一個特徵圖單元進行聯絡,作為網路頂層的多重特徵圖。錯誤box在卷積層中拼接整個特徵圖,這樣使得每一個box的位置對應於一個cell。對於每一個特徵圖cell,我們預測該cell對應的box的形狀補償和box存在每一種類別的置信度。對於一個給定位置上的box,我們計算c 個類別分數和4個相對於box形狀的補償值。因此對於feature map上的任意一個位置,濾波器有(c+4)*k個,對於m*n的特徵圖,一共輸出(c+4)*k*m*n個值。

其SSD框架如下圖:
這裡寫圖片描述

訓練細節

SSD和其他方法的主要不同在於,ground truth資訊需要分配

給特定的檢測器輸出結果。loss函式和反向傳播採用end-to-end方法。訓練也同樣涉及選擇失誤box,檢測尺度問題,hard negative mining和資料的增加策略。

(1)Matching strategy

訓練時候需要建立ground truth和default box之間的對應關係,主要採用best jaccard overlap。這種方法開始用於MultiBox方法,並確保每一個ground truth box對應一個default box。本方法主要講default box和所有ground truth對比匹配,只要高於閾值(0.5)的即保留,不限制原先的只有一個對應的限制

(2)Training objective

loss函式集合了定位和分數的loss,表示式如下:
這裡寫圖片描述

(3)Choosing scales and aspect ratios for default boxes

大部分的卷積網路減少了深層時候的特徵圖尺度,為了減少記憶體和加快速度。於是對於不同目標尺度,SSD方法主要學習特定特徵圖在影象特定區域和目標的尺度,新增專門的部分進行尺度問題的解決。對於每層特徵圖上的尺度的default box計算表示式如下:
這裡寫圖片描述
這樣,可以通過設計default box的分佈在最好地適應特定的資料集。如開始的框架圖中,狗狗的匹配default box在4*4的特徵圖上,而不在8*8上,這是因為其大小尺度的特定性決定

(4)Hard negative mining

(5)Data augmentation

實驗

實驗產生了非常好的結果,這裡做部分展示:

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述