關於LeNet-5卷積神經網路

S2層與C3層連線的引數計算的思考？？？

首先圖1是LeNet-5的整體網路結構圖

圖1 LeNet-5結構

該神經網路共有7層（不計輸入層），輸入影象大小為32×32。

層編號特點：英文字母+數字

                   英文字母代表以下一種：

                   C→卷積層、S→下采樣層（池化）、F→全連線層

                   數字代表當前是第幾層，而非第幾卷積層（池化層.ec）

術語解釋：引數→權重w與偏置b

                連線數→連線數

引數計算：每個卷積核對應於一個偏置b，卷積核的大小對應於權重w的個數(特別注意通道數)

C1層：使用6個5×5大小的卷積核，padding=0，stride=1進行卷積，得到6個28×28大小的特徵圖（32-5+2*0）/1+1=28

  引數個數：（5*5+1）*6=156，其中5*5為卷積核的25個引數，1為偏置

  連線數： 156*28*28=122304，其中156為卷積過程連線數，28*28為輸出特徵層每一個畫素都由前面卷積得到

S2層：使用2×2大小的卷積核進行池化，padding=0，stride=2，得到6個14×14大小的特徵圖（28-2+2*0）/2+1=14

  引數個數：（1+1）*6=12，其中第一個1為最大池化所對應的2*2感受野中最大的那個數的權重，第二個1為偏置

  連線數： （2*2+1）*14*14*6= 5880，雖然只選取2*2感受野中最大的那個數，但也存在2*2的連線數，即最大的權重為1，其餘的為0

C3層：該層使用16個5*5大小的卷積核，padding=0，stride=1，卷積後得到16個10*10的特徵圖，（14-5+2*0）/1+1=10

該層第一個難點：6個輸入圖如何通過卷積得到16個特徵圖？

如圖2所示，C3的前六個特徵圖(0,1,2,3,4,5)由S2的相鄰三個特徵圖作為輸入，接下來的6個特徵圖(6,7,8,9,10,11)由S2的相鄰四個特徵圖作為輸入，12,13,14號特徵圖由S2間斷的四個特徵圖作為輸入，15號特徵圖由S2全部(6個)特徵圖作為輸入。

圖2

該層第二個難點(這裡我覺得最難理解，斷斷續續理解了幾乎小半年)：通過S2的輸入，如何卷積得到C3的一個特徵圖呢？

我用C3層0號特徵圖舉例，它由S2層0,1,2號特徵圖作為輸入，由於C3層共有16個卷積核，即C3每一個特徵圖是由一個卷積核對S2層相應的輸入特徵圖卷積得到的，如圖3所示。

圖3

這裡值得注意的是，上圖的卷積核是一個5×5大小具有3個通道，每個通道各不相同，這也是下面計算時5*5後面還要乘以3,4,6的原因。具體可參考多通道卷積。

引數個數：（5*5*3+1）*6+（5*5*3+1）*6+（5*5*4+1）*3+（5*5*6+1）=1516

連線數：1516*10*10=151600

S4層：依然是池化層，使用16個2×2大小的卷積核進行池化，padding=0，stride=2，得到16個5×5大小的特徵圖（10-2+2*0）/2+1=5

  引數個數：（1+1）*16=32

       連線數：  （2*2+1）*16*5*5=2000

C5層：使用120個5*5卷積核對S4層16個特徵圖進行卷積，padding=0，stride=1，得到120個1*1大小的特徵圖，（5-5+2*0）/1+1=1

這裡的計算跟C3相同，也是多通道卷積，因此5*5後面乘以16.

  引數個數：（5*5*16+1）*120=48120

       連線數：  （5*5*16+1）*120*1*1=48120

F6層：共有84個神經元，與C5層進行全連線，即每個神經元都與C5層的120個特徵圖相連。

   引數個數：（120+1）*84=10164

       連線數：  （120+1）*84=10164

Output層：輸出層由歐式徑向基函式（Euclidean Radial Basis Function）單元組成，每個單元由F6層84個神經元作為輸入，輸出0-9十個手寫數字識別的結果

   引數個數：84*10=840

       連線數：  84*10=840

總結：本人初學深度學習，尚有太多不懂的地方，上述若有錯誤的地方，望請各位批評指正。在學習lenet-5的過程中，發現了一個視覺化的網站：http://scs.ryerson.ca/~aharley/vis/conv/flat.html

http://scs.ryerson.ca/~aharley/vis/conv/

如果打不開，請多換幾個瀏覽器

多通道卷積：可以看出卷積核W0，W1各自的三個通道各不相同

最後，引用了幾個參考文章的連結：

http://blog.csdn.net/zhangjunhit/article/details/53536915

https://www.jianshu.com/p/ce609f9b5910

http://blog.csdn.net/qiaofangjie/article/details/16826849

https://www.zybuluo.com/hanbingtao/note/485480