最近，物體識別已經成為計算機視覺和 AI 最令人激動的領域之一。即時地識別出場景中所有的物體的能力似乎已經不再是祕密。隨著卷積神經網路架構的發展，以及大型訓練資料集和高階計算技術的支援，計算機現在可以在某些特定設定（例如人臉識別）的任務中超越人類的識別能力。 我感覺每當計算機視覺識別方面有什麼驚人的突破發生了，都得有人再講一遍是怎麼回事。這就是我做這個圖表的原因。它試圖用最簡潔的語言和最有吸引力的方式講述物體識別的現代史。故事開始於2012年 AlexNet 贏得了 ILSVRC（ImageNet大規模視覺識別挑戰賽）。 下載地址：https://github.com/Nikasa1889/HistoryObjectRecognition/find/master

計算機視覺 6 大關鍵技術

影象分類：根據影象的主要內容進行分類。資料集：MNIST, CIFAR, ImageNet 物體定位：預測包含主要物體的影象區域，以便識別區域中的物體。資料集：ImageNet 物體識別：定位並分類影象中出現的所有物體。這一過程通常包括：劃出區域然後對其中的物體進行分類。資料集：PASCAL, COCO 語義分割：把影象中的每一個畫素分到其所屬物體類別，在樣例中如人類、綿羊和草地。資料集：PASCAL, COCO 例項分割：把影象中的每一個畫素分到其物體類別和所屬物體例項。資料集：PASCAL, COCO 關鍵點檢測：檢測物體上一組預定義關鍵點的位置，例如人體上或者人臉上的關鍵點。資料集：COCO 重要的 CNN 概念 1. 特徵 （圖案，神經元的啟用，特徵探測）

當一個特定的圖案（特徵）被呈現在輸入區（接受域）中時，一個隱藏的神經元就被會被啟用。 神經元識別的團可以被進行視覺化，其方法是：1）優化其輸入區，將神經元的啟用（deep dream）最大化；2）將梯度（gradient）視覺化或者在其輸入畫素中，引導神經元啟用的梯度（反向傳播以及經引導的反向傳播）3）將訓練資料集中，啟用神經元最多的影象區域進行視覺化。 2. 感受野 （特徵的輸入區）

輸入影象區會影響特徵的啟用。換句話說，它就是特徵參考的區域。 通常，越高層上的特徵會的接受域會更寬，這能讓它能學會捕捉更多的複雜/抽象圖案。ConvNet 的架構決定了感受野是如何隨著層數的改變而改變的。 3. 特徵地圖（feature map，隱藏層的通道）

指的是一系列的特徵，通過在一個滑動視窗（例如，卷積）的方式，在一個輸入地圖中的不同位置應用相同的特徵探測器來創造。在相同的特徵地圖上的特徵，有著一致的可接收形狀，並且會尋找不同位置上的相同圖案。這構成了ConvNet的空間不變性。 4. 特徵量（卷積中的隱藏層）

這是一組特徵地圖，每一張地圖會在輸入地圖中的一些固定位置搜尋特定的特徵。所有的特徵的接受域大小都是一樣的。 5.作為特徵量的全連線層

全連線層（fc layers，在識別任務中通常粘附在一個ConvNet的尾端），這一特徵量在每一張特徵滴入上都有一個特徵，其接收域會覆蓋整張影象。全連線層中的權重矩陣W可以被轉化成一個CNN核。 將一個核wxhxk 卷積成一個CNN 特徵量wxhxd會得到一個1x1xk特徵量（=FC layer with k nodes)。將一個1x1xk 的過濾核卷積到一個1x1xd特徵量，得到一個1x1xk的特徵量。通過卷積層替換完全連線的圖層可以使ConvNet應用於任意大小的影象。  6. 反捲積 這一操作對卷積中的梯度進行反向傳播。換句話說，它是卷積層的反向傳遞。反向的卷積可以作為一個正常的卷積部署，並且在輸入特徵中不需要任何插入。

左圖，紅色的輸入單元負責上方四個單元的啟用（四個彩色的框），進而能從這些輸出單元中獲得梯度。這一梯度反向傳播能夠通過反捲積（右圖）部署。 7. 端到端物體識別管道（端到端學習/系統） 這是一個包含了所有步驟的物體識別管道 （預處理、區域建議生成、建議分類、後處理），可以通過優化單個物件函式來進行整體訓練。單個物件函式是一個可差分的函式，包含了所有的處理步驟的變數。這種端到端的管道與傳統的物體識別管道的完全相反。在這些系統中，我們還不知道某個步驟的變數是如何影響整體的效能的，所以，麼一個步驟都必須要獨立的訓練，或者進行啟發式程式設計。 重要的目標識別概念 1. Bounding box proposal 提交邊界框（Bounding  box proposal，又稱興趣區域，提交區域，提交框） 輸入影象上的一個長方形區域，內含需要識別的潛在物件。提交由啟發式搜尋（物件、選擇搜尋或區域提交網路RPN）生成。

一個邊界框可以由4 元素向量表示，或表達為 2 個角座標（x0,y0,x1,y1），或表達為一箇中心座標和寬與高（x,y,w,h）。邊界框通常會配有一個信心指數，表示其包含物件物體的可能性。 兩個邊界框的區別一般由它們的向量表示中的 L2 距離在測量。w 和 h 在計算距離前會先被對數化。 2. Intersection over Union

重疊聯合比（Intersection over Union，又稱 IoU，Jaccard 相似度） 兩個邊界框相似度的度量值=它們的重疊區域除以聯合區域 3. 非最大抑制（Non Maxium Suppression，又稱 NMS）

一個融合重疊邊界框（提交或偵測出的）的一般性演算法。所有明顯和高信度邊界框重疊的邊界框（IoU > IoU_threshold）都會被抑制（去除）。 4. 邊界框迴歸（邊界框微調）

觀察一個輸入區域，我們可以得到一個更適合隱含物件的邊界框，即使該物件僅部分可見。下圖顯示了在只看到一部分物件時，得出真實邊界框（ground truth box）的可能性。因此，可以訓練迴歸量，來觀察輸入區域，並預測輸入區域框和真實框之間的 offset △（x,y,w,h）。如果每個物件類別都有一個迴歸量，就稱為特定類別迴歸量，否則就稱為不可知類別（class-agnostic，一個迴歸量用於所有類別）。邊界框迴歸量經常伴有邊界框分類器（信度評分者），來評估邊界框中在物件存在的可信度。分類器既可以是特定類別的，也可以是不可知類別的。如果不定義首要框，輸入區域框就扮演首要框的角色。 5. 首要框（Prior box，又稱預設框、錨定框）

如果不使用輸入區域作為唯一首要框，我們可以訓練多個邊界框迴歸量，每一個觀測相同的輸入區域，但它們各自的首要框不同。每一個迴歸量學習預測自己的首要框和真實框之間的 offset。這樣，帶有不同首要框的迴歸量可以學習預測帶有不同特性（寬高比，尺寸，位置）的邊界框。相對於輸入區域，首要框可以被預先定義，或者通過群集學習。適當的框匹配策略對於使訓練收斂是至關重要的。 6. 框匹配策略

我們不能指望一個邊界框迴歸量可以預測一個離它輸入區域或首要框（更常見）太遠的物件邊界框。因此，我們需要一個框匹配策略，來判斷哪一個首要框與真實框相匹配。每一次匹配對迴歸來說都是一個訓練樣本。可能的策略有：（多框）匹配每一個帶有最高 IoU 的首要框的真實框；（SSD，FasterRCNN）匹配帶有任何 IoU 高於 0.5 的真實框的首要框。 7. 負樣本挖掘（Hard negative example mining） 對於每個首要框，都有一個邊界框分類器來評估其內部含有物件的可能性。框匹配之後，所有其他首要框都為負。如果我們用了所有這些負樣本，正負之間本會有明顯的不平衡。可能的解決方案是：隨機挑選負樣本（FasterRCNN），或挑選那些分類器判斷錯誤最嚴重的樣本，這樣負和正之間的比例大概是3：1 。 重要視覺模型發展：AlexNet→ZFNet→VGGNet→ResNet→MaskRCNN 一切從這裡開始：現代物體識別隨著ConvNets的發展而發展，這一切始於2012年AlexNet以巨大優勢贏得ILSVRC 2012。請注意，所有的物體識別方法都與ConvNet設計是正交的（任意ConvNet可以與任何物件識別方法相結合）。 ConvNets用作通用影象特徵提取器。 2012年 AlexNet：AlexNet基於有著數十年曆史的LeNet，它結合了資料增強、ReLU、dropout和GPU實現。它證明了ConvNet的有效性，啟動了ConvNet的光榮迴歸，開創了計算機視覺的新紀元。

RCNN：基於區域的ConvNet（RCNN）是啟發式區域提案法（heuristic region proposal method）和ConvNet特徵提取器的自然結合。從輸入影象，使用選擇性搜尋生成約2000個邊界框提案。這些被推出區域被裁剪並扭曲到固定大小的227x227影象。 然後，AlexNet為每個彎曲影象提取4096個特徵（fc7）。然後訓練一個SVM模型，使用4096個特徵對該變形影象中的物件進行分類。並使用4096個提取的特徵來訓練多個類別特定的邊界框迴歸器來改進邊界框。

OverFeat：OverFeat使用AlexNet在一個輸入影象的多個層次下的多個均勻間隔方形視窗中提取特徵。訓練一個物件分類器和一個類別不可知盒子迴歸器，用於對Pool5層（339x339接收域視窗）中每5x5區域的物件進行分類並對邊界框進行細化。OverFeat將fc層替換為1x1xN的卷積層，以便能夠預測多尺度影象。因為在Pool5中移動一個畫素時，接受場移動36畫素，所以視窗通常與物件不完全對齊。OverFeat引入了詳盡的池化方案：Pool5應用於其輸入的每個偏移量，這導致9個Pool5卷。視窗現在只有12畫素而不是36畫素。 2013 年 ZFNet：ZFNet 是 ILSVRC 2013 的冠軍得主，它實際上就是在 AlexNet 的基礎上做了映象調整（mirror modification）：在第一個卷積層使用 7×7 核而非 11×11 核保留了更多的資訊。 SPPNet：SPPNet（Spatial Pyramid Pooling Net）本質上是 RCNN 的升級，SFFNet 引入了 2 個重要的概念：適應大小池化（adaptively-sized pooling，SPP 層），以及對特徵量只計算一次。實際上，Fast-RCNN 也借鑑了這些概念，通過映象調整提高了 RCNN 的速度。

SPPNet 用選擇性搜尋在每張影象中生成 2000 個區域（region proposal）。然後使用 ZFNet-Conv5 從整幅影象中抓取一個共同的全體特徵量。對於每個被生成的區域，SPPNet 都使用 spatial pyramid pooling（SPP）將該區域特徵從全體特徵量中 pool 出來，生成一個該區域的長度固定的表徵。這個表徵將被用於訓練目標分類器和 box regressor。從全體特徵量 pooling 特徵，而不是像 RNN 那樣將所有影象剪下（crops）全部輸入一個完整的 CNN，SPPNet 讓速度實現了 2 個數量級的提升。需要指出，儘管 SPP 運算是可微分的，但作者並沒有那麼做，因此 ZFNet 僅在 ImageNet 上訓練，沒有做 finetuning。

MultiBox：MultiBox 不像是目標識別，更像是一種基於 ConvNet 的區域生成解決方案。MultiBox 讓區域生成網路（region proposal network，RPN）和 prior box 的概念流行了起來，證明了卷積神經網路在訓練後，可以生成比啟發式方法更好的 region proposal。自此以後，啟發式方法逐漸被 RPN 所取代。MultiBox 首先將整個資料集中的所有真實 box location 聚類，找出 200 個質心（centroid），然後用將其用於 prior box 的中心。每幅輸入的影象都會被從中心被裁減和重新調整大小，變為 220×220。然後，MultiBox 使用 ALexNet 提取 4096 個特徵（fc7）。再加入一個 200-sigmoid 層預測目標置信度分數，另外還有一個 4×200-linear 層從每個 prior box 預測 centre offset 和 box proposal。注意下圖中顯示的 box regressors 和置信度分數在看從整幅影象中抓取的特徵。  2014 年 VGGNet：雖然不是 ILSVRC 冠軍，VGGNet 仍然是如今最常見的卷積架構之一，這也是因為它簡單有效。VGGNet 的主要思想是通過堆疊多層小核卷積層，取代大核的卷積層。VGGNet 嚴格使用 3×3 卷積，步長和 padding 都為1，還有 2×2 的步長為 2 的 maxpooling 層。

2014 年 Inception：Inception（GoogLeNet）是2014 年 ILSVRC 的冠軍。與傳統的按順序堆疊卷積和 maxpooling 層不同，Inception 堆疊的是 Inception 模組，這些模組包含多個並行的卷積層和許多核的大小不同的 maxpooling 層。Inception 使用 1×1 卷積層減少特徵量輸出的深度。目前，Inception 有 4 種版本。

Fast RCNN：Fast RCNN 本質上 SPPNet，不同的是 Fast RCNN 帶有訓練好的特徵提取網路，用 RolPooling 取代了 SPP 層。

YOLO：YOLO（You Only Look Once）是由 MultiBox 直接衍生而來的。通過加了一層 softmax 層，與 box regressor 和 box 分類器層並列，YOLO 將原本是區域生成的 MultiBox 轉為目標識別的方法，能夠直接預測目標的型別。 2015 ResNet：ResNet以令人難以置信的3.6％的錯誤率（人類水平為5-10％）贏得了2015年ILSVRC比賽。ResNet不是將輸入表示式轉換為輸出表示，而是順序地堆疊殘差塊，每個塊都計算它想要對其輸入的變化（殘差），並將其新增到其輸入以產生其輸出表示。這與boosting有一點關。

Faster RCNN：受 Multibox 的啟發，Faster RCNN 用啟發式區域生成代替了區域生成網路（RPN）。在 Faster RCNN 中，PRN 是一個很小的卷積網路（3×3 conv → 1×1 conv →  1×1 conv）在移動視窗中檢視 conv5_3 全體特徵量。每個移動視窗都有 9 個跟其感受野相關的 prior box。PRN 會對每個 prior box 做 bounding box regression 和 box confidence scoring。通過結合以上三者的 loss 成為一個共同的全體特徵量，整個管道可以被訓練。注意，在這裡 RPN 只關注輸入的一個小的區域；prior box 掌管中心位置和 box 的大小，Faster RCNN 的 box 設計跟 MultiBox 和 YOLO 的都不一樣。

2016 年 SSD：SSD 利用 Faster RCNN 的 RPN，直接對每個先前的 box 內的物件進行分類，而不僅僅是對物件置信度（類似於YOLO）進行分類。通過在不同深度的多個卷積層上執行 RPN 來改善前一個 box 解析度的多樣性。 2017 年 Mask RCNN：通過增加一支特定類別物件掩碼預測，Mask RCNN 擴充套件了面向例項分割的Faster RCNN，與已有的邊界框迴歸量和物件分類器並行。由於 RolPool 並非設計用於網路輸入和輸出間的畫素到畫素對齊，MaskRCNN 用 RolAlign 取代了它。RolAlign 使用了雙線性插值來計算每個子視窗的輸入特徵的準確值，而非 RolPooling 的最大池化法。