系統學習深度學習（二十一）--GoogLeNetV4與Inception-ResNet V1,V2
上面那篇論文，主要貢獻如下：
- 1、在Inception v3的基礎上發明了Inception v4，v4比v3更加複雜
- 2、結合ResNet與GoogLeNet，發明了Inception-ResNet-v1、Inception-ResNet-v2，其中Inception-ResNet-v2效果非常好，但相比ResNet，Inception-ResNet-v2的複雜度非常驚人，跟Inception v4差不多
- 3、加入了Residual Connections以後，網路的訓練速度加快了
- 4、在網路複雜度相近的情況下，Inception-ResNet-v2略優於Inception-v4
- 5、Residual Connections貌似只能加速網路收斂，真正提高網路精度的是“更大的網路規模”
Google Research的Inception模型和Microsoft Research的Residual Net模型兩大影象識別殺器結合效果如何？在這篇2月23日公佈在arxiv上的文章“Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning”給出了實驗上的結論。
在該論文中，姑且將ResNet的核心模組稱為residual connections，實驗結果表明，residual connections可以提高Inception網路的準確率，並且不會提高計算量。這似乎是理所當然的。採用3個帶有residual connection的Inception模型和1個Inception v4模型，ImageNet上的top 5錯誤率已經可以刷到3.08%啦。也就是說，錯誤率2.x%的時代已經指日可待了。
關於深度卷積神經網路的發展以及在各種視覺任務上的優異表現就不用贅述了。在討論related work中，本文認為residual connection並不是訓練very deep network的必要條件，但可以顯著的加快訓練的速度。同時，本文回顧了Inception模型的發展歷程，原始的Inception模型，也就是GoogLeNet被稱為Inception-v1，加入batch normalization之後被稱為Inception-v2，加入factorization的idea之後，改進為Inception-v3。
Google Research從DistBelief過渡到TensorFlow之後，不用再顧慮分散式訓練時要做模型的分割。Inception-v4模型設計的可以更簡潔，計算量也更小。具體的模型如下圖：
inception-v4 網路模型
其中的Inception-A模組是這樣的：
Inception-A模組網路結構
接下來將介紹重頭戲，Inception-ResNet，其中的一個典型模組是這樣的：
Inception-ResNet-A網路結構
其中的+就是residual connection了。通過20個類似的模組組合，Inception-ResNet構建如下：
Inception-ResNet模型
基於Inception-v3和Inception-v4，文中分別得到了Inception-ResNet-v1和Inception-ResNet-v2兩個模型。另外，文中還提到當卷積核超過1000個的大網路訓練時，將殘差（residuals）縮小有助於訓練的穩定性。這個做法同原始ResNet論文中的two-phase training的效果類似。
果然如winsty所講，現在論文的公式越來越少了，網路框圖開始越來越多了。本文行文並不足夠規範，更像一個report。接下就是報各種很牛的實驗結果了。
單個模型，144 crops，ILSVRC 2012 validation set上的結果
模型組合，144 crops，ILSVRC 2012 validation set上的結果
總結來講，Google Research團隊在這篇report中介紹了新的Inception-v4網路，並結合最新的residual connection技術，將ImageNet上影象分類的結果刷到了3.08%了。
[1] Christian Szegedy,Sergey Ioffe,Vincent Vanhoucke. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning. arXiv:1602.07261[cs.CV]