論文Network in network  （ICLR 2014）是對傳統CNN的改進，傳統的CNN就交替的卷積層和池化層的疊加，其中卷積層就是把上一層的輸出與卷積核（即濾波器）卷積，是線性變換，然後再加上一個非線性變換的啟用函式（比如：relu），但是在NIN中並有像CNN中這樣，

1.它們的區別之一是卷積層不一樣：

CNN: 卷積層＝ 卷積+啟用函式

NIN：卷積層＝mlpconv層＝ 卷積+MLP ＝ 卷積+1*1卷積+1*1卷積＝卷積+relu+1*1卷積+relu+1*1卷積+relu

b.問題：我在想如果把NIN的mlpconv層中的relu變成maxout會怎麼樣？有人做這方面工作了嗎？

2.NIN與CNN的區別之二是softmax前一層不一樣：

CNN：全連線層+softmax

NIN：全域性均值池化+softmax

alexnet的引數要230多M，而NIN只要29M，且準確率更高

3.NIN的結構：

data---conv1(96,11,4)=（濾波器數，卷積核大小，stride）---relu0---cccp1---relu1---cccp2---relu2---pool1(3*3,2)=(kernel_size,stride)---

conv2(256,5,1)---relu3---cccp3---relu4---cccp4---relu5---pool2(3*3,2)--

conv3(384,3,1)---relu6---cccp5---relu7---cccp6---relu8---pool3(3*3,2)---dropout(0.5)---

conv4(1024,3,1)---relu9---cccp7---relu10---cccp8---relu11---pool4(6*6,1)---softmax

注意：cccp=conv（1,1）即：“隱隱層”就是一個1×1的卷積層

基礎資料：