詳解深度學習之經典網路架構（十）：九大框架彙總
目錄
本文是對本人前面講的的一些經典框架的彙總。
純手打，如果有不足之處，可以在評論區裡留言。
0、概覽
1、個人心得
（1）LeNet：元老級框架，結構簡單，卻開創了卷積神經網路的新紀元，具有重要的學習價值。
（2） AlexNet：打開了深度學習的大門，深度學習成為學術界的新寵。主要意義在於驗證了神經網路的有效性，為後續的發展提供了參考。
（3）ZF-Net：這個在Alex上改進較少，主要貢獻是2點：
a）由AlexNet的雙GPU改為單GPU上訓練;
b）對神經網路的每一層都進行了視覺化，這是最主要的貢獻。
（4）VGG-Net：
（5）GoogLeNet：有四個版本，主要是在網路寬度上進行了改進，不像VGG-Net只是單純增加深度，在同一層中使用了多個不同尺寸的卷積，以獲得不同的視野，最後級聯（直接疊加通道數量），這就是Inception module從v2開始，進一步簡化把Inception module中的n×n模組分解為1×n和n×1的組合，減少了引數數量，v3進一步把最開始的7×7卷積和其他非3×3進行分解，v4引入了ResNet殘差的思想。
（6）ResNet：），解決了網路過深而導致的梯度消失的問題，為更深的網路提供了有力的方向。注意：
a）此處的跨層連線的計算方式和GoogLeNet中的級聯不同，這裡是每個通道進行相加操作，如果的通道數和
的通道數不同，則對
用1×1的卷積操作，使得維度一樣；
b）有有兩個版本v1和v2，v2只是引入了BN（banch normalization），並討論的BN放置位置的問題，其他思想一樣。
（7）DenseNet：比ResNet來的更加徹底，即當前的每一層都和前面的每一層連線。這裡有兩點值得注意：
a）為了解決每個輸入的尺寸不一樣的問題，因此提出了Dense block，即在這個模組中才進行每一層的連線，這樣便於控制輸入尺寸的大小，Dense block模組之間就可以放心的使用池化操作了;
b）此處的連線的計算方式為級聯（直接疊加通道數量），和GoogLeNet一樣，和ResNet不同。
（8）ResNeXt：在ResNet的基礎上，借鑑GoogLeNet的思想，增加了網路的寬度，同時，為了簡化設計的複雜度，不像Inception module裡面採用了不同尺寸的卷積，這裡使用相同的的卷積，並用了32個，最後每個通道相加，和Inception module的級聯不同。
（9）DPN：一種雙通道網路，結合了ResNet和DenseNet的優點，具有一定的參考價值。
2、總結
深度學習還有很大的發展空間，這裡總結的是一些經典網路架構，還有很多有意思的網路架構，可以參考我以後的部落格，會不定時更新一些最新的技術。
