卷積神經網路的變種模型

（一）卷積神經網路可以改變輸入的形式，比如說把一副影象的R、G、B三個通道看做一個整體輸入，並且採用3D的卷積核，建立3D卷積神經網路模型，以處理視訊影象。
（二）卷積神經網路可以採用重疊池化來進行下采樣，比如在AlexNet中就採用了重疊池化的技術。池化就是對矩陣資料進行分塊下采樣。在標準的卷積神經網路中，池化分塊是不允許重疊的。如果允許重疊，那麼將產生更大的下采樣層，學習演算法也要做相應的修改。此外，平均池化可以該用最大池化。

**（三）**CNN可以改變卷積層和下采樣層的交錯排列方式。也就是說，允許卷積層和卷積層相鄰，從而產生新的層間連線和計算方式。
**（四）**CNN可以採用修正線性單元（ReLU）、滲漏修正線性單元（LReLU）和引數化修正線性單元（PReLU）代替sigmoid單元，但在輸出層還可以採用softmax函式代替sigmoid函式以產生偽概率。

**（五）**CNN可以採用較小的卷積核。構造成一個相對較深的模型。eg：VGG網路一般採用大小為1*1和3*3的卷積核，可以使網路的深度達到16層或者是19層。此外，通過使用引數化修正線性單元代替修正線性單元，VGG網路被進一步發展成了MSRANet。CNN還可以採用小型多層感知器代替卷積核，建立更加複雜的網中網（NIN）模型。
CNN通過反覆堆疊具有維數約簡作用的“攝入模組”（其中卷積核的大小限制為1*1,3*3和5*5），可以在合理控制計算總量的條件下增加網路的深度和寬度，從而建立效能更好，但層數很多、結構看似複雜的網路模型，如GoogLeNet模型。
**（六）**CNN在通過某種策略產生足夠數量候選區域的基礎上（如2000個左右與類別獨立的候選區域），再提取每一個候選區域的特徵並進行精細定位和分類，就可以得到區域卷積神經網路（R-CNN或者RCNN）模型。區域卷積神經網路的一個缺點是隻能處理固定大小的輸入影象。為了克服這一個缺點，可以在區域卷積神經網路的最後一個卷積層和全連線層之間插入一個空間金字塔池化（SPP）層，建立空間金字塔池化（SPP-net）網路。···

最後值的一提的是殘差網路（ResNet），其目標是客服極深網路的訓練困難，其基本策略是在普通網路中每隔兩三層插入跨層連線，把原來的函式擬合問題轉化為殘差函式的學習問題。具有殘差結構的卷積神經網路在深度超過150層、甚至1000層時，也能夠得到有效的學習和訓練。