1. 程式人生 > >卷積神經網路的區域性連線和權值共享

卷積神經網路的區域性連線和權值共享

        卷積神經網路是一種目前計算機視覺領域廣泛使用的深度學習網路,與傳統的人工神經網路結構不同,它包含有非常特殊的卷積層和降取樣層(有些地方又稱之為池化層),其中卷積層和前一層採用區域性連線和權值共享的方式進行連線,從而大大降低了引數數量。降取樣層可以大幅降低輸入維度,從而降低網路複雜度,使網路具有更高的魯棒性,同時能夠有效的防止過擬合。由於以上設計,卷積網路主要用來識別縮放,位移以及其他形式扭曲不變的二維圖形,並且可以直接以原始圖片作為輸入,而無需進行復雜的預處理工作。  

卷積神經網路的結構    

        常見的卷積網路前面幾層是卷積層和降取樣層交替出現的,然後跟著一定數量的全連線層。如圖所示,這是著名的LeNet-5卷積神經網路,在上世紀90年代,它被大量應用於手寫數字的識別。這個網路一共含有7層(不包含輸入層),輸入是32*32的圖片,C1是卷積層,它含有6個特徵圖,每一個的尺寸為28*28,卷積核的尺寸為5*5, S2是一個降取樣層,將輸入由28*28降維成14*14,同樣,C3是一個卷積層,S4為一個降取樣層,後面全部為全連線層。  

區域性連線與權值共享

        卷積層最主要的兩個特徵就是區域性連線和權值共享,有些地方又叫做稀疏連線和引數共享,總之都是一個意思。所謂區域性連線,就是卷積層的節點僅僅和其前一層的部分節點相連線,只用來學習區域性特徵。區域性感知結構的構思理念來源於動物視覺的皮層結構,其指的是動物視覺的神經元在感知外界物體的過程中起作用的只有一部分神經元。在計算機視覺中,影象中的某一塊區域中,畫素之間的相關性與畫素之間的距離同樣相關,距離較近的畫素間相關性強,距離較遠則相關性就比較弱,由此可見區域性相關性理論也適用於計算機視覺的影象處理領域。因此,區域性感知採用部分神經元接受影象資訊,再通過綜合全部的影象資訊達到增強影象資訊的目的。從下圖中我們可以看到,第n+1層的每個節點只與第n層的3個節點相連線,而非與前一層全部5個神經元節點相連,這樣原本需要5*3=15個權值引數,現在只需要3*3=9個權值引數,減少了40%的引數量,同樣,第n+2層與第n+1層之間也用同樣的連線方式。這種區域性連線的方式大幅減少了引數數量,加快了學習速率,同時也在一定程度上減少了過擬合的可能。

區域性連線

        卷積層的另一大特徵是權值共享,比如一個3*3的卷積核,共9個引數,它會和輸入圖片的不同區域作卷積,來檢測相同的特徵。而只有不同的卷積核才會對應不同的權值引數,來檢測不同的特徵。如下圖所示,通過權值共享的方法,這裡一共只有3組不同的權值,如果只用了局部連線的方法,共需要3*4=12個權值引數,而加上了權值共享的方法後,現在僅僅需要3個權值,更進一步地減少引數數量。  

權值共享