一、LeNet-5-------1998年

 由LeCun在1998年提出，用於手寫數字分類

（1）提出了權重共享、特徵圖的概念

（2）啟用函式：雙曲正切     

（3）網路權重初始化：均勻分佈

（4）訓練：BP+SGD

二、AlexNet------2012年

（1）使用ReLU啟用函式，減小梯度消失、防止過擬合，並加快了訓練速度

（2）資料增強：對影象進行裁剪、翻轉、變換等操作

（3）將SGD改為了動量SGD

（4）添加了dropout機制

三、ZF-Net------2013年

 主要貢獻：ZF-Net其實就是在AlexNet的基礎上進行了微調，但它的貢獻是將CNN訓練的過程進行了視覺化（反捲積），使得其解釋性大大增強，這個思想後來在語義分割上得到了發揚光大。

四、VGG-----2014年

VGG經典的有VGG16和VGG19，圖中標紅。VGG的拓展性很強，遷移到其他圖片資料集上泛化性也很好，現在也經常用或者改

主要創新： 卷積全部採用3X3的小卷積核（因為研究發現兩個3x3的卷積感受野大小等價於一個5x5的，三個等價於一個7x7的，所以完全可以用小的卷積核代替大的，這樣大大減少了引數），感受野而定計算可以參考我的另一篇部落格：https://blog.csdn.net/wodemimashi125/article/details/81562982

五、GoogleNet----2014

神經網路發展到現在已經取得了很大的成功，改進的思路就集中在增大網路的規模（深度、寬度），但單純的這樣做導致了兩個問題：一是容易過擬合，二是計算量大大的增加。針對這個問題，GoogleNet引入了Inception模組。

Inception模組有幾種演進，Inception V1借鑑了NIN網路1x1卷積的思想，採用多個不同大小卷積核並行的方法，並在前面加1x1卷積減少輸入特徵圖的個數。Inception V2則進一步將5x5的卷積核用兩個3x3的替代，降低網路引數。Inception V3再進一步將nxn的卷積核分解為1xn和nx1這種非對稱結構，其實是把二維卷積改成了兩個一維卷積。

 六、ResNet-----2015

隨著CNN結構的不斷加深，網路越來越難以訓練，出現了退化現象（網路加深，訓練集的效能反而變差，這不是過擬合）。這個時候ResNet出現了。主要創新是殘差模組的思想。

不斷的堆疊殘差模組，形成了類似下面的結構

 利用殘差思想，使得我們能夠訓練超深的網路。後面幾年CNN就沒有出現大的革新了。