[論文閱讀] Going Deeper with Convolutions

阿新 • • 發佈：2019-01-10

一般來說更深的網路具有更好效果，更深的網路也面臨兩個問題。
- 更深的網路擁有更多的引數，更容易過擬合。
- 更深的網路對計算的要求也更高。
針對上述問題的一個解決方法就是使用稀疏連線(convolutional layer)，而不是dense connection。
此外，同一類的物體在不同圖片中的大小差距也比較大，如下圖所示，從左到右影象需要的kernel size依次遞減。
為了解決這個問題，作者創新性的提出了不僅僅more deeper而且可以讓網路更wider。也就是最原始的Inception Module，如下圖所示。
但是上面結構有一個致命的問題就是channel的個數會爆炸式增長，這就限制了我們網路結構不能太深，因為我們在設計網路的時候總要在channel的個數和網路的深度之間平衡。，為了解決該問題，作者使用了 $1*1$ 的卷積來做dimension reduction。⚠️ $1*1$ 的卷積也跟的有ReLU，這樣可以提高整個模型的非線性。
這裡其實還有一個問題就是為什麼不統一在filter concatenation後跟一個1x1的卷積，而是在module內的每個branch跟了一個1x1的卷積，個人感覺是因為這樣更適合multi-scale的初衷。通過這樣可以使得每個scale可以提取到適合自己的特徵。
作者還在開始的兩個convolutional layer跟了LRN Block(Local Response Normalization)。他是Alex net中使用的歸一化方法，定義如下
$b^i_{x,y} = a^i_{x,y} / (k + \sum_{j=max(0, i-n/2)}^{min(N-1, i+n/2)}(a^j_{x, y})^2)^\beta$ 其中N表示channel的個數，n表示adjacent的個數。x,y表示座標。總的來說就是對每個位置的特徵，計算他在相同位置先後多個特徵下的歸一化後的值。也是計算的特徵之間的歸一化。每個位置之間是獨立的。
ensemble,作者使用了multi-crop，multi-modelensemble的方式來進一步改善測試集上的效果
- multi-model, 作者用相同的網路結構，引數初始化方式訓練來7個模型，他們之間的不同僅僅在於隨機打亂來輸入的順序，以及sampleing的方法不同。
- multi-crop，作者最多crop出來144個影象。首先將最短邊放縮到256， 288，320和352。然後再提取square從left，center 或者是right(或者對稱的top, center或者是right)。再然後將square的四個角，中間crop出224x224或者是將square resize到224x224。所以每幅影象crop得到影象的個數是436*2=144。
- 最後ensemble的方式也是對得到的softmax probabilities計算平均值。
- 效果如下表所示，我們可以看到通過test階段的multi-scale，效果還是有顯著提升的。

[論文閱讀] Going Deeper with Convolutions

一般來說更深的網路具有更好效果，更深的網路也面臨兩個問題。更深的網路擁有更多的引數，更容易過擬合。更深的網路對計算的要求也更高。針對上述問題的一個解決方法就是使用稀疏連線(convolutional layer)，而不是den

論文閱讀筆記四十二：Going deeper with convolutions (Inception V1 CVPR2014 )

存在區域分類論文定位獨立也會 rgb 線索論文原址：https://arxiv.org/pdf/1409.4842.pdf 代碼連接：https://github.com/titu1994/Inception-v4（包含v1,v2,v4）摘要

Going Deeper with Convolutions閱讀摘要

　論文連結：Going deeper with convolutions 　　程式碼下載： Abstract We propose a deep convolutional neural network architecture codenamed Incept

經典計算機視覺論文筆記——《Going Deeper with Convolutions》

2014年imageNet挑戰賽冠軍，Inception系列的開創者，caffe作者賈揚清，google研發……使這篇論文成為深度學習與視覺領域的必讀論文，兩年時間引用量過千。私以為文中理論部分有點囉嗦，反覆強調sparse structure。但精彩之處還

【深度學習經典論文翻譯2】GoogLeNet-Going Deeper with Convolutions全文翻譯

Christian Szegedy, Wei Liu, Yangqing Jia. et al 摘要我們提出了一個名為“Inception”的深度卷積神經網結構，其目標是將分類、識別ILSVRC14資料集的技術水平提高一個層次。這一結構的主要特徵是對網路內部計算資源的利用進行了優化。這一目標的實現是通

【Inception-v1】《Going Deeper with Convolutions》

CVPR-2015 1 Background and Motivation 作者的工作很大程度上是受到這兩個工作的啟發的 DNN model size 越大（more depth，more width）效果越好，但是這樣會有兩個 major draw

【Imagenet LSVRC系列模型】GoogLeNet-2014 Going Deeper with Convolutions

Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]. Cvpr, 2015.ImageNet 影象分類 2014 冠軍模型文中主要是提出一種稱為Inception的深度卷積神經網路結構。Incep

圖像分類（一）GoogLenet Inception_V1：Going deeper with convolutions

地方此外 -s 數值計算 mbed 原本樸素思路並行論文地址在該論文中作者提出了一種被稱為Inception Network的深度卷積神經網絡，它由若幹個Inception modules堆疊而成。Inception的主要特點是它能提高網絡中計算資源的

Inception——Going deeper with convolutions

線性不同的比例必須高質量個人包含尺度測試 1. 摘要作者提出了一個代號為 Inception 的卷積神經網絡架構，這也是作者在 2014 年 ImageNet 大規模視覺識別挑戰賽中用於分類和檢測的新技術。通過精心的設計，該架構提高了網絡內計算資源

顯著性論文閱讀Saliency Detection with Recurrent Fully Convolutional Networks

摘要深度網路已經被證明可以編碼高階語義特徵，並在顯著性檢測中提供卓越的效能。在本文中，我們通過使用迴圈完全卷積網路（RFCN）開發新的顯著性模型更進一步。此外，迴圈體系結構使我們的方法能夠通過糾正其先前的錯誤自動學習優化顯著性對映。為了訓練具有多個引數的這樣的網路，我們提出了使用語

論文閱讀: Anomaly Detection with Partially Observed Anomalies

對於異常檢測而言，通常是根據標籤是否可用而採取監督或者無監督的方式。論文提出一種新的方法，部分觀測到異常，針對大量未標記的資料和少量已經標記為異常的資料，提出了一種ADOA的兩階段檢測方法。首先聚類未標籤資料確信正常和可能異常。然後再用加群多分類方法來給出對應類別的置信度。

【論文閱讀-REC】<<Recommending music on Spotify with deep learing>>閱讀

play ring 來源調整能力表達 layers 書籍訓練 1、協同過濾協同過濾不使用item的具體信息，因此可適用性很強，在書籍、電影、音樂上都可用；協同過濾不適用item的具體信息，因此強者愈強；冷啟動問題無法解決 2、基於內容的推薦使用聲音信號推薦

論文閱讀筆記《The Contextual Loss for Image Transformationwith Non-Aligned Data》（ECCV2018 oral）

github 區域偏移 org nbsp 修改 transfer style 但是目錄：相關鏈接方法亮點相關工作方法細節實驗結果總結與收獲相關鏈接論文：https://arxiv.org/abs/1803.02077 代碼：https://

論文閱讀筆記（六）Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

采樣分享最終產生 pre 運算減少 att 我們作者：Shaoqing Ren, Kaiming He, Ross Girshick, and Jian SunSPPnet、Fast R-CNN等目標檢測算法已經大幅降低了目標檢測網絡的運行時間。可是盡管如此，仍然

論文閱讀筆記 DeepLabv1：SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS

bar pro 依賴性後處理主題處理分配位置平滑論文鏈接：https://arxiv.org/abs/1412.7062 摘要該文將DCNN與概率模型結合進行語義分割，並指出DCNN的最後一層feature map不足以進行準確的語義分割

Articulated pose estimation with flexible mixtures-of-parts 論文閱讀摘要

一、簡介這篇論文是2011年的時候發表的，可以推測這個工作起碼在2009年底左右就開始了，也就說是屬於比較早期的人體姿態估計的工作。這個文章有程式碼github上的，程式碼。文章主要採用的是傳統方法做的，沒有使用到深度學習，也不需要使用GPU，可以說速度上已經

《System Service Call-oriented Symbolic Execution of Android Framework with Applications to...》論文閱讀筆記

System Service Call-oriented Symbolic Execution of Android Framework with Applications to Vulnerability Discovery and Exploit Generation 用於Andro

論文閱讀1《AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networ》

paper連結https://arxiv.org/abs/1711.10485， code連結https://github.com/taoxugit/AttnGAN，作者的homepage https://sites.google.com/view/taoxu 本文給出的是CVPR 2

Training Neural Networks with Weights and Activations Constrained to +1 or -1論文閱讀

確定性與隨機二值化決定式的二值化：隨機式的二值化：第二種方法雖然看起來比第一種更合理，但是在實現時卻有一個問題，那就是每次生成隨機數會非常耗時，所以一般使用第一種方法。梯度計算與累積（梯度計算與累加）雖然BNN的引數和各層的啟用值是二值化的，但梯度不得不用較

《Detecting Text in Natural Image with Connectionist Text Proposal Network》論文閱讀之CTPN

前言 2016年出了一篇很有名的文字檢測的論文：《Detecting Text in Natural Image with Connectionist Text Proposal Network》，這個深度神經網路叫做CTPN，直到今天這個網路框架一直是OCR系統中做文字檢測的一個常用網路，極大

[論文閱讀] Going Deeper with Convolutions

相關推薦