Deep Learning 24：讀論文“Batch-normalized Maxout Network in Network”——mnist錯誤率為0.24%

阿新 • • 發佈：2019-01-12

讀本篇論文“Batch-normalized Maxout Network in Network”的原因在它的mnist錯誤率為0.24%，世界排名第4。並且程式碼是用matlab寫的，本人還沒裝cafe……

理論知識

本文是臺灣新竹國立交通大學的Jia-Ren Chang 寫的，其實要說這篇文章有多在的創新，還真沒有，實際上它就是把三篇比較新的論文的東西組合起來，分別是這三篇：

把這三篇文章中的NIN、Maxout、BN組合為一個MIN模組，從而由3個MIN模組+softmax連成一個新的網路結構，見如下：

所以，要看懂這篇論文只需要盾懂這三篇即可，所以我們非常有必要讀這三篇最近幾年非常經典的論文。

一些matlab函式

fullfile

fullfile函式作用是利用檔案各部分資訊建立併合成完整檔名。
用法：
fullfile('dir1', 'dir2', ..., 'filename')
f = fullfile('dir1', 'dir2', ..., 'filename')
具體例子:
輸入：f = fullfile('C:','Applications','matlab','fun.m')

得到：f =C:\Applications\matlab\fun.m

fileparts

函式功能：在FreeMat、Matlab中，該函式用於將一個檔案的完整路徑中各部分提取出來。語法格式：

[pathstr, name, ext, versn] = fileparts(filename) 其中filename是要解析的檔案的完整路徑，例如：E:\games\IGI\bin\IGI.exe。fileparts將這個檔名（包含完整路徑資訊）各部分分別提取到四個變數中。其中pathstr是這個檔案的路徑名，name是檔名，ext是包含一個點號檔案的副檔名（指定了檔案的型別）。matlab幫助文件中指明，第四個引數將在未來版本中捨棄。 >> filename = 'E:\games\IGI\bin\IGI.exe'; >> [pathstr, name, ext, versn] = fileparts(filename)

pathstr =E:\games\IGI\bin name =IGI ext =.exe versn = ''

mfilename

函式功能：返回當前正在執行的函式所在檔案的路徑。語法格式： mfilename p = mfilename('fullpath') c = mfilename('class')

若在函式內部要獲取自己的全路徑，也可以使用mfilename函式：

比如執行startup.m函式時：

a = mfilename('fullpath');
% a = 'D:\Program Files\MATLAB\toolbox\local\startup'

注意mfilename返回的值不帶檔案型別字尾

isfield

函式功能：判斷輸入是否是結構體陣列的域（成員）。呼叫格式： tf = isfield(S, 'fieldname') 檢查結構體S是否包含由fieldname指定的域，如果包含，返回邏輯1；如果S不包含fieldname域或者S不是結構體型別的，返回邏輯0。程式示例 close all; clear; clc; student = struct('name', 'John', 'age', 20, 'score', 90); fprintf('Is ''name'' a field of student structure? %dn',isfield(student, 'name')); fprintf('Is ''salary'' a field of student structure? %dn',isfield(student, 'salary')); isfield(student, {'name', 'salary', 'score'}) 輸出結果： Is 'name' a field of student structure? 1 Is 'salary' a field of student structure? 0 ans = 1 0 1 arrayfun函式用於對陣列中每個元素進行相同的函式操作。 sprintf('%03d',i)，是將數字轉化為字串，03的意思是要變成3位數，不足3位的前面補零。 4.從原始碼中可看出結構: conv1--BN--maxout layer1(maxoutconv1--BN--maxout)--maxoutlayer2(maxoutconv2--BN--maxout--pool1--dropout)-- conv2--BN--maxout layer1(maxoutconv3--BN--maxout)--maxoutlayer2(maxoutconv4--BN--maxout--pool2--dropout)-- conv3--BN--maxout layer1(maxoutconv5--BN--maxout)--maxoutlayer2(maxoutconv6--BN--maxout--pool3)-----softmax

Deep Learning 24：讀論文“Batch-normalized Maxout Network in Network”——mnist錯誤率為0.24%

Deep Learning 24：讀論文“Batch-normalized Maxout Network in Network”——mnist錯誤率為0.24%

Deep Learning 26：讀論文“Maxout Networks”——ICML 2013

Deep Learning 25：讀論文“Network in Network”——ICLR 2014

Deep Learning 33：讀論文“Densely Connected Convolutional Networks”-------DenseNet 簡單理解

Deep Learning 18：DBM的學習及練習_讀論文“Deep Boltzmann Machines”的筆記

Deep Learning 23：dropout理解_之讀論文“Improving neural networks by preventing co-adaptation of feature detectors”

Deep Learning 16：用自編碼器對資料進行降維_讀論文“Reducing the Dimensionality of Data with Neural Networks”的筆記

課程一(Neural Networks and Deep Learning)總結：Logistic Regression

On Deep Learning-Based Channel Decoding 論文筆記

Wide & Deep Learning for Recommender Systems 論文閱讀總結

Deep Learning 36：python中的一些函式

Deep Learning 15：RBM的學習

Deep Learning入門：引數意義及對一些trick理解的總結

機器學習(Machine Learning)與深度學習(Deep Learning)資料之相關論文和會議報告

Deep Learning-TensorFlow (12) CNN卷積神經網路_ Network in Network 學習筆記

論文閱讀筆記（十一）Network In Network

Network in Network-讀後筆記

【論文翻譯】NIN層論文中英對照翻譯--（Network In Network）

讀論文：deep Learning 深度學習合集

#讀原始碼+論文# 三維點雲分割Deep Learning Based Semantic Labelling of 3D Point Cloud in Visual SLAM

Deep Learning 24：讀論文“Batch-normalized Maxout Network in Network”——mnist錯誤率為0.24%

相關推薦