1. 程式人生 > >卷積神經網絡學習筆記與心得(4)池化

卷積神經網絡學習筆記與心得(4)池化

設計者 位置 浪費 需要 三種 限制 右移 理論 alt

圖片經過卷積、激活後的結果一般帶有大量原圖信息。

技術分享圖片

上圖中卷積核提取的是豎直方向上的連續像素,但是,被增強的像素只占了結果的1/3,對於多層網絡,其余重要性較低的信息也被傳入了下一層網絡,造成了不必要的浪費,因此需要用池化對卷基層得到的結果做聚合統計。池化的理論基礎是:圖像相鄰位置的像素是相關的,即使間隔一段尺寸對圖像進行采樣,得到的結果依舊能保持大部分信息。常用的池化方式有最大池化和均值池化。池化的另一個重要作用是為卷積神經網絡帶來一定的平移、旋轉和透視不變性。

技術分享圖片

上圖展示了池化如何為模型帶來平移不變性。原圖中垂直方向上的一段連續像素被右移了一個單位得到了平移後的圖片,兩者經過尺寸為2*2,步長為1的最大池化後,得到了相同的結果。對於旋轉和透視,池化也可以達到類似的效果。但池化使模型具有對平移、旋轉、透視的抗性並不是沒有限制的,首先池化的效果依賴於卷積的結果,如果卷積沒有捕捉到上述變換後的特征,池化也失去了抗平移、旋轉、透視的能力,其次,池化對上述三種變換的抗性和池化的尺寸有關,池化尺寸越大,抗性越強,但信息丟失的也越多,其中利弊需要設計者權衡。

卷積神經網絡學習筆記與心得(4)池化