最近在學習吳恩達Andrew Ng的深度學習課程，之前對這幾個網路還比較混亂，現在記錄一下：

LeNet-5神經網路的貢獻： 

1.這是一個比較早的網路模型，其中在卷積層後面加入池化層的思想先今還在使用。

2.在最後的卷積層接入池化層和全連線層在當前也比較常用。

出處：Gradient-Based Learning Applied to Document Recognition

其結構為 輸入-->卷積層-->平均池化層-->卷積層-->平均池化層-->全連線層-->全連線層-->softmax分類器（原論文不是採用這種方式）

注意：

AlexNet神經網路的貢獻：

1.使用了 ReLu 啟用函式

2.AlexNet 包含約 6000 萬個引數，相對於LeNet網路（有 6 萬個引數）多了很多引數。能夠處理非常相似的基本構造模組。

3.從這開始，計算機視覺領域開始注意到深度學習。

一些特點：

1.採用了非常複雜的方法在兩個 GPU 上進行訓練

2.經典的 AlexNet 結構還有另一種型別的層，叫作“區域性響應歸一化層”，即 LRN 層。目前用到這個的不多。

結構：Alexnet網路和LeNet的網路結構比較相似

出處：ImageNet Classification with Deep Convolutional Neural Networks

VGG-16神經網路的貢獻：

1.簡化了神經網路結構（例如，把兩個卷積網絡合成一個：輸入-->卷積1-->卷積2-->輸出3  ==輸入-->2x卷積(同結構)-->輸出3 ）

2.隨著網路的加深，影象的高度和寬度都在以一定的規律不斷縮小；通道數量在不斷增加

特點：

1.數字 16，就是指在這個網路中包含 16 個卷積層和全連線層。

2.這是一種只需要專注於構建卷積層的簡單網路

出處：Very Deep Convolutional Networks forLarge-Scale Image Recognition