在殘差逐漸當道時，google開始研究inception和殘差網路的效能差異以及結合的可能性，並且給出了實驗結構。

本文思想闡述不多，主要是三個結構的網路和實驗效能對比。

Inception-v4, Inception-ResNet and 

the Impact of Residual Connections on Learning

• 論證殘差和Inception結合對效能的影響（拋實驗結果）

　　1.殘差連線能加速Inception網路訓練

　　2.和沒有殘差的Inception相比，結合殘差的Inception在效能上有微弱優勢

　　3.作者提出了Inception V4，Inception-ResNet-V1，Inception-ResNet-V2

• Inception系列正名

　　1.GoogLeNet=Inception V1

　　2.BN-Inception = Inception V2

　　3.分解卷積 = Inception V3

• InceptionV4

　　　整個結構所使用模組和V3基本一致，不同的是Stem和Reduction-B

　　InceptionV4中Stem

       299->35的過程

• Inception-ResNet

 　　Inception-ResNetV1 計算量接近Inception V3

　　Inception-ResNetV2 計算量接近Inception V4

• Inception-ResNetV2

　　V1和V2殘差Inception相近，不同點在stem和部分模組的卷積大小

• 殘差Inception模組的縮放

　　現象：當濾波器超過1000時，殘差網路出現不穩定，最終GAP層啟用值大部分變為0，且無法通過降低學習率和增加BN來避免。

　　經過實驗發現，通過縮放殘差Inception模組能夠使其訓練穩定，通常設定0.1~0.3

• 實驗效能對比
  

 　　實驗較多，以單模型單裁剪為例