1. 程式人生 > >深度學習(十五)卷積神經網路CNN(3)---區域性連線

深度學習(十五)卷積神經網路CNN(3)---區域性連線

       作用:降低引數數目,減少網路運算複雜度。

       原理:一般認為人對外界的認知是從區域性到全域性的,而影象的空間聯絡也是區域性的畫素聯絡較為緊密,而距離較遠的畫素相關性則較弱。因而,每個神經元其實沒有必要對全域性影象進行感知,只需要對區域性進行感知,然後在更高層將區域性的資訊綜合起來就得到了全域性的資訊。網路部分連通的思想,也是受啟發於生物學裡面的視覺系統結構。視覺皮層的神經元就是區域性接受資訊的(即這些神經元只響應某些特定區域的刺激),這些區域性可以稱為區域性感知野(亦即卷積核)。


        卷積神經網路的卷積核大小、卷積層數、每層map個數都是如何確定下來的呢?

     引數數量由1000×1000×1M下降為10×10×1M,降低4個數量級。區域性連線也被稱為“稀疏連線(Sparse Connectivity),但需要注意的是,這裡的稀疏連線,僅僅是指卷積核的感知域(10×10)相對於原始影象的高度和寬度(1000×1000)而言的。卷積核的深度(depth)則需要與原始資料保持一致,不能縮減。在這裡,卷積核的深度實際上就是卷積核的個數。對於RGB影象而言,如果我們需要在紅色、藍色和綠色等三個通道提取特徵,那麼卷積核個數就是3)。所以對於隱藏層的某個神經元,它的前向連線個數是由全連線的1000×1000×3個,通過卷積操作,減少到區域性連線的到10×10×3個。

       注意當卷積核的深度很深時,如100個,則由區域性連線帶來的引數個數減少量,就要大打折扣。