1. 程式人生 > >神經網路中卷積層的堆疊

神經網路中卷積層的堆疊

在神經網路的設計中,經常會出現多個卷積層堆疊的情況,(例如VGGNet)


通過VGG16/19的結構圖可以看出,每一段使用了很多卷積層堆疊,然後再經過池化層,這其實是非常有用的設計。如下圖所示:


兩個3x3的卷積層串聯相當於1個5x5的卷積層,即一個畫素會跟周圍5x5的畫素產生關聯,可以說感受野大小為5x5.

以此類推,3個3x3的卷積層串聯的效果則相當於1個7x7的卷積層。那為什麼選擇使用3個3x3的卷積層而不是使用1個

7x7的卷積層呢?

(1)3個串聯的3x3的卷積層,擁有比1個7x7的卷積層更少的引數,引數量是後者的(3x3x3 ) /(7x7) = 55%

(2)3個3x3的卷積層比1個7x7的卷積層擁有更多的非線性變換

,前者可以使用3次ReLU啟用函式,而後者只能使用

          一次,這樣使得CNN對特徵的學習能力更強。