詳細學習1*1卷積核
1*1卷積是大小為1*1的濾波器做卷積操作，不同於2*2、3*3等filter，沒有考慮在前一特徵層區域性資訊之間的關係。我們從1*1卷積的兩個主要使用來理解其原理和作用。
卷積核：可以看作對某個區域性的加權求和，它是對應區域性感知，它的原理是在觀察某個物體時我們既不能觀察每個畫素也不能一次觀察整體，而是先從區域性開始認識，這就對應了卷積。卷積核的大小一般有1x1,3x3和5x5的尺寸。卷積核的個數就對應輸出的通道數，這裡需要說明的是對於輸入的每個通道，輸出每個通道上的卷積核是不一樣的。比如輸入是28x28x192(WxDxK,K代表通道數)，然後在3x3的卷積核，卷積通道數為128，那麼卷積的引數有3x3x192x128,其中前兩個對應的每個卷積裡面的引數，後兩個對應的卷積總的個數。
下面直接截圖吳恩達老師的課件，做1*1卷積運算的理解。對於如下的二維矩陣，做卷積，相當於直接乘以2。
對於三維矩陣，做卷積。
當設定多個1*1filter時，就可以隨意增減輸出的通道數，也就是降維和升維。
1、Network In Network論文
最早出現在 Network In Network的論文中 ，使用1*1卷積是想加深加寬網路結構 。
2、Inception網路
在Inception網路(論文Going Deeper with Convolutions)中影象輸入進來後，通常可以選擇直接使用畫素資訊(1x1卷積)傳遞到下一層，可以選擇3x3卷積，可以選擇5x5卷積，還可以選擇max pooling的方式downsample剛被卷積後的feature maps。 但在實際的網路設計中，究竟該如何選擇需要大量的實驗和經驗的。 Inception就不用我們來選擇，而是將4個選項給神經網路，讓網路自己去選擇最合適的解決方案。但是這些卷積濾波器的設計也會在計算上造成很大的消耗，由於3*3卷積或者5*5卷積在幾百個filter的卷積層上做卷積操作時相當耗時，所以1*1卷積在3*3卷積或者5*5卷積計算之前先降低維度
按照上面的說法，我們的這層的模型引數與輸入的特徵維數（28x28x192）,卷積核大小以及卷積通道數(包括三種卷積核，分別是1x1x64,3x3x128,5x5x32)，所以引數為：
引數：(1×1×192×64) + (3×3×192×128) + (5×5×192×32) = 153600
最終輸出的feature map個數：64+128+32+192 = 416
池化層不引人蔘數！
feature map個數就是filter個數，一個濾波器在前一個feature map上進行一次卷積操作（特徵抽取）會產生一個feature map或者叫通道、深度。
上圖中在3x3，5x5 卷積層前新加入的1x1的卷積核為96和16通道的，max pooling後加入的1x1卷積為32通道。
圖中該層的引數：
引數：（1×1×192×64）+（1×1×192×96+3×3×96×128）+（1×1×192×16+5×5×16×32）+（1x1x32）=15904
最終輸出的feature map個數： 64+128+32+32=256
所以，加入1×1的卷積後，在降低大量運算的前提下，降低了維度。
3、1*1卷積作用
總結一下，1x1的卷積核可以進行降維或者升維，也就是通過控制卷積核（通道數）實現，這個可以幫助減少模型引數，也可以對不同特徵進行尺寸的歸一化；同時也可以用於不同channel上特徵的融合。一個trick就是在降維的時候考慮結合傳統的降維方式，如PCA的特徵向量實現，這樣效果也可以得到保證。
1*1卷積的主要作用有以下幾點：
1、降維。比如，一張500 * 500且厚度depth為100 的圖片在20個filter上做1*1的卷積，那麼結果的大小為500*500*20。
2、加入非線性。卷積層之後經過激勵層，1*1的卷積在前一層的學習表示上添加了非線性激勵，提升網路的表達能力；
3、增加模型深度。可以減少網路模型引數，增加網路層深度，一定程度上提升模型的表徵能力。
參考資料
[1] https://blog.csdn.net/ybdesire/article/details/80314925
[2] https://blog.csdn.net/a1154761720/article/details/53411365