文章首發於微信公眾號《與有三學AI》

03 這是深度學習模型解讀第3篇，本篇我們將介紹GoogLeNet v1到v3。

01 Inception V1【1】

GoogLeNet首次出現在2014年ILSVRC 比賽中獲得冠軍。這次的版本通常稱其為Inception V1。Inception V1有22層深，引數量為5M。同一時期的VGGNet效能和Inception V1差不多，但是引數量也是遠大於InceptionV1。

Inception Module是GoogLeNet的核心組成單元。結構如下圖：

Inception Module基本組成結構有四個成分。1*1卷積，3*3卷積，5*5卷積，3*3最大池化。最後對四個成分運算結果進行通道上組合。這就是Inception Module的核心思想。通過多個卷積核提取影象不同尺度的資訊，最後進行融合，可以得到影象更好的表徵

如上圖所示，假設我們要提取貓臉特徵，而上面兩張圖的貓臉佔比顯然不一樣，那麼我們就得用不同卷積核提取不同資訊。資訊分佈比較全域性性的影象採用大卷積核，資訊分佈比較區域性性的影象採用小卷積核。

圖b是對圖a的改進，即在3*3卷積，5*5卷積前加1*1卷積，目的是為了先進行降維，相比較於原來結構減少了較多引數。而把1*1卷積放在3*3最大池化之後，相比較放在前面，也是為了引數量的減少。

由Inception Module組成的GoogLeNet如下圖：

對上圖做如下說明：

1.  採用模組化結構，方便增添和修改。其實網路結構就是疊加Inception Module。

2.採用Network in Network中用Averagepool來代替全連線層的思想。實際在最後一層還是添加了一個全連線層，是為了大家做finetune。

3.依然使用Dropout層，防止過擬合。

4.另外增加了兩個輔助的softmax分支，作用有兩點，一是為了避免梯度消失，用於向前傳導梯度。反向傳播時如果有一層求導為0，鏈式求導結果則為0。二是將中間某一層輸出用作分類，起到模型融合作用。最後的loss=loss_2 + 0.3 * loss_1 + 0.3 * loss_0。實際測試時，這兩個輔助softmax分支會被去掉。

02 Inception V2【2】

1.學習VGGNet的特點，用兩個3*3卷積代替5*5卷積，可以降低引數量。

2.提出BN演算法。BN演算法是一個正則化方法，可以提高大網路的收斂速度。簡單介紹一下BN演算法。就是對輸入層資訊分佈標準化處理，使得規範化為N(0,1)的高斯分佈，收斂速度大大提高。

03 nception V3【3】

學習Factorization into small convolutions的思想，將一個二維卷積拆分成兩個較小卷積，例如將7*7卷積拆成1*7卷積和7*1卷積。這樣做的好處是降低引數量。paper中指出，通過這種非對稱的卷積拆分，比對稱的拆分為幾個相同的卷積效果更好，可以處理更多，更豐富的空間特徵。

本來還有Inception V4【4】的，考慮到借鑑了微軟的ResNet網路結構思想，在後面介紹Resnet中的殘差結構時再做介紹。

參考文獻

【1】Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2015:1-9.

Ioffe S, Szegedy C. 

【2】Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[J].2015:448-456.

【3】Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the Inception Architecture for ComputerVision[J]. 2015:2818-2826.

【4】Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning[J]. 2016.

同時，在我的知乎專欄也會開始同步更新這個模組，歡迎來交流

注：部分圖片來自網路

—END—

打一個小廣告，我在gitchat開設了一些課程和chat，歡迎交流。