1. 程式人生 > >1×1卷積的用途(Network in Network)

1×1卷積的用途(Network in Network)

網絡 body -m inf mark nali 分享 n-n filter

1×1卷積,又稱為Network in Network

技術分享圖片
如果卷積的輸出輸入都只是一個平面,那麽1x1卷積核並沒有什麽意義,它是完全不考慮像素與周邊其他像素關系。 但卷積的輸出輸入是長方體,所以1x1卷積實際上是對每個像素點,在不同的channels上進行線性組合(信息整合),且保留了圖片的原有平面結構,調控depth,從而完成升維或降維的功能。
如下圖所示,如果選擇2個filters的1x1卷積層,那麽數據就從原本的depth 3 降到了2。若用4個filters,則起到了升維的作用。

技術分享圖片

1. 相當於輸入(6×6)每個元素對應的所有通道分別進行了全連接運算,輸出即為filters的數量。

2. 對於池化層,可以壓縮高度和寬度,1×1卷積,可以壓縮或增加通道數。

降維( dimension reductionality )或者升維。由於33卷積或者55卷積在幾百個filter的卷積層上做卷積操作時相當耗時,所以11卷積在33卷積或者5*5卷積計算之前先降低維度。比如,一張500×500且厚度depth為100 的圖片在20個filter上做1×1的卷積,那麽結果的大小為500×500×20。

3. 加入非線性。卷積層之後經過激勵層,1×1的卷積在前一層的學習表示上添加了非線性激勵( non-linear activation ),提升網絡的表達能力;

1×1卷積的用途(Network in Network)