[譯] 必讀的計算機視覺開創性論文

摘要：  學習計算機視覺必須要看的幾篇論文！

從ILSVRC中可以看出，近幾年影象分類神經網路架構的錯誤率以驚人的幅度下降

深度學習已經存在了幾十年， Yann Lecun 在1998年就發表了 一篇關於卷積神經網路（ CNN ）的論文 。但是直到十年前，深度學習才開始真正的發展並慢慢成為人工智慧研究的主要焦點領域。這些轉變主要是因為處理能力（即 GPU）的增強、大量可用性的資料（即 Imagenet 資料集 ）以及新的演算法和技術。2012年， AlexNet （一種大型深度卷積神經網路），贏得了年度 ImageNet 大規模視覺識別挑戰賽（ ILSVRC ）。

從此以後，CNN的變體開始在ILSVRC中稱霸，並超過人類精確度的水平。

作為人類，我們很容易理解影象的內容。例如，在觀看電影時，我們認知一個東西是矮人後，可以輕鬆的去識別其他的矮人。然而，對於一臺機器來說，這項任務極具挑戰性，因為它在這幅圖中看到的是一組數字。

在本篇文章中作者基於以往在深度學習方面的經驗，列出了一些具有啟發性的研究論文，這些論文是任何與計算機視覺相關的人必讀的。

關於影象分類的開創性研究論文

AlexNet

在2012年的ILSVRC 中， Alex Krizhevsky ， IIya Sutskever 和 Geoffrey Hinton 介紹了一種深度卷積神經網路-AlexNet。在這場比賽中AlexNet的以15.4%的錯誤率拿下榜首，並遠超第二名（第二名的錯誤率是26.2%）。AlexNet的這一傲人成績震撼了整個計算機視覺社群，並使深度學習和CNN得到了很大的重視。

這個CNN架構模型清晰地展示了兩個GPU之間的責任劃定：一個GPU執行圖形頂部的圖層部分，另一個執行圖層底部的圖層部分。

這是第一個在 ImageNet 資料集上表現得非常好的模型，AlexNet奠定了深度學習的基礎。它仍然是關於深度學習中引用次數最多的論文之一，被引用約7000次。

ZFNet

Matthew D Zeiler （ Clarifai 的創始人）和Rob Fergous奪得了2013年ILSVRC的冠軍，它將錯誤率降至11.2%。ZFNet引入了一種新穎的視覺化技術，可以深入瞭解中間要素圖層的功能以及分類器的執行情況，而這些AlexNet都沒有。

ZFNet 的網路架構

ZFNet 利用被稱為 解卷積網路（ Deconvolutional Networks ） 的技術檢查不同功能啟用以及與輸入空間關係。

VGG 網路

牛津大學的 Karen Simonyan 和 Andrew Zisserman 建立了深度CNN，被選為2014年ISLVRC影象分類比賽中的第二名。VGG Net表明，通過將深度增加到16-19個重量層可以實現對現有技術配置的顯著改進。

VGG 網路的巨集觀架構

該架構很容易理解（比GoogleLeNet更為簡單），但仍然可以表現出最佳的準確性。它的特徵對映現在在轉移學習和其他需要預先訓練的網路的演算法中被大量使用，如大多數生成式對抗網路( GAN s ）。

GoogLeNet

2014 年ISLVRC的獲獎者Christian Szegedy等提出了一個名為GoogLeNet的22層神經網路。這是一種初始模型，鞏固了Google在計算機視覺領域的地位。GoogLeNet將錯誤率下降到6.7%。這種架構的主要特徵在於提高了網路內部計算資源的利用率。這是通過精心設計實現的，可以在保持計算預算不變的同時增加網路的深度和寬度。GooLeNet引入了 Inception module 的概念，並不是所有的事情都是按順序發生的，存在一些並行發生的網路部分。

GoogLeNet 架構的示意圖，突出顯示的框是啟動模組。

值得注意的是，GoogLeNet的錯誤率接近人類的表現。GoogLeNet是第一批將CNN圖層並不總是按順序疊加的概念化模型之一。

RESNET

微軟的ResNet由Kaiming He、Xiangyu Zhang和Shaoqing Ren開發，它是一種學習框架，用於緩解比以前更深的網路訓練。作者提供了全面的經驗證據，表明這些殘留網路更容易優化，並且可以通過增加深度提高準確性。

ResNet架構中的殘餘塊

ResNet 以一種新的152層網路架構，其錯誤率為3.57%，超過了人類的效能，通過一個令人難以置信的架構在分類、檢測和本地化領域創造了新的記錄。

Wide ResNets

Sergey Zagoruyko 和Nikos Komodakis在2016年發表了這篇論文，對ResNet模組的架構進行了詳細的實驗研究，在此基礎上他們提出了一種新穎的架構，它可以減少整個網路的深度並增加殘餘網路的寬度。

作者使用的各種殘餘塊

作者將最終的網路結構命名為 寬殘差網路（ WRNs ） 。與ResNet的卷積層相比，Wide ResNet可以具有2-12倍甚至更多的特徵對映。

ResNeXt

ResNeXt 在2016年的ILSCRV 中獲得第二名。它是一個簡單的高度模組化的影象分類網路架構。ResNeXt設計產生了一種同構的多分支體系結構，只有少數超引數可供設定。

一個 ResNeXt 塊（右）與一個 ResNet 塊（左）

這種策略揭示了一個新的維度，作為除深度和寬度維度以外的一個重要因素，作者將其命名為“基數”。容量增加時，增加基數比變深或變寬更有效。因此，它的準確性要高於ResNets和Wide ResNets。

DenseNet

密集卷積網路由Gao Huang, Zhuang Liu,Kilian Q.Weinberger和Laurens van der Maaten在2016年開發，以 前饋方式 將每層連線到每個其他層。對於每一層，前面所有圖層的特徵對映都被用作輸入，並且它自己的特徵對映被用作所有後續圖層的輸入。

一個 5 層密集塊。每個圖層都將前面的所有要素圖作為輸入。

DenseNet 有幾個引人注目的優點，例如緩解 梯度消失問題 ，加強特徵傳播，鼓勵特徵重用以及大幅度減少引數數量。DenseNet勝過ResNets,同時需要更少的記憶體和計算來實現高效能。

新的構架具有前景廣闊的未來潛力

CNN 的變體可能主宰影象分類體系結構設計。Attention Modules和SENets將在適當的時候變得更加重要。

SENets

2017 年ILSCRV 的獲獎作品 Squeeze-and-Excutation Networks （ SENet ） 在比賽中錯誤率為令人難以置信的2.251%，該作品適用於擠壓、激勵和縮放操作。SENets並沒有為特徵通道的整合引入新的空間，而是開展了一項新的“特徵重新校準”策略。

SENet 模型的示意圖：擠壓，激勵和縮放操作

作者模擬了功能通道之間的相互依賴關係。訓練SENet可以自動獲得每個功能通道的重要性，並利用這個來增強有用的功能。

Residual Attention Networks

Residual Attention Network 是一種使用注意機制的卷積神經網路，可以以端到端的訓練方式與先進的前饋網路架構（state-of-art feed forward network）相結合。注意力殘留學習用於訓練非常深的Residual Attention Networks，這些網路可以輕鬆擴充套件到數百層。

Residual Attention Network 分類插圖：選擇的影象顯示不同的功能在參與注意網路中具有不同的對應注意掩碼。天空面具減少了低級別的背景藍色功能。氣球示例蒙版突出顯示高階氣球底部特徵

未來之路

今天，1000美元購買的電腦的處理能力是人類大腦容量的1/1000。 根據摩爾定律，到2025年我們將達到人類大腦的計算能力，到2050年將達到全人類。人工智慧的有效性只會隨著時間的推移而加速。 由於資料和處理能力的可用性不再使研究人員退縮，我們可以假設用於影象分類的深度學習模型的準確性將在適當的時候變得更好。