本節主要介紹一個深度學習的matlab版工具箱，

該工具箱中的程式碼很簡單，感覺比較適合用來學習演算法。裡面有常見的網路結構，包括深度網路(NN),稀疏自編碼網路(SAE),CAE,深度信念網路(DBN)(基於玻爾茲曼RBM實現)，卷積神經網路(CNN)等等。感謝該toolbox的作者。發現這個工具箱是在CSDN上另外一位博主的部落格下發現的，該博主也很詳細的介紹了該工具箱裡面的大多數函式，

也感謝該博主。在此博主的基礎上，我新增一些自己的見解，更主要的是後期介紹一些基於該工具箱的深度學習應用。

這裡再Mark一下其他好的深度學習工具箱：

好了，對於前面那個工具箱，可以先去看看上面那個博主的系列文章，如果看不懂，沒關係，看完了再看看應用，慢慢就懂了，下面的部分內容我將參考上述博主，同時加入更加詳細的解釋以期達到更明瞭的目的。

依據目前已經介紹的內容，對於DBN,CNN等沒有介紹到的內容我將在後期討論介紹，這裡我先主要介紹下基於該工具箱的網路建立，以及稀釋自編碼網路。

首先介紹下一般網路的建立模型，找到在工具箱
DeepLearnToolbox\tests\test_example_NN.m檔案，這個測試函式是測試一般的網路模型，取前一段程式碼：

load mnist_uint8;
train_x = double(train_x) / 255;
test_x  = double(test_x)  / 255;
train_y = double(train_y);
test_y  = double(test_y);

% normalize
[train_x, mu, sigma] = zscore(train_x);
test_x = normalize(test_x, mu, sigma);

%% ex1 vanilla neural net
rand('state',0)
nn = nnsetup([784 100 10]);
opts.numepochs =  1;   %
 
  Number of full sweeps through data
opts.batchsize = 100;  %  Take a mean gradient step over this many samples
[nn, L] = nntrain(nn, train_x, train_y, opts);
[er, bad] = nntest(nn, test_x, test_y);
assert(er < 0.08, 'Too big error');

使用到的是手寫體資料庫，該資料庫已經整合到工具箱了，直接用就好，顯示看一看該資料庫的一部分，其目標就是通過訓練該資料庫達到識別的目的：

緊接著是對該資料庫資料進行歸一化等等預處理。nnsetup建立一個網路，裡面會有許多引數初始化，同時在設定下opts.numepochs = 1; 該引數個人感覺就是將所有資料重複試驗次數，設定1就是實驗一次。opts.batchsize = 100;該引數是將大量樣本每隨機100個作為一波送進去實驗。再就是訓練測試了。Ok來看看nnsetup：

function nn = nnsetup(architecture)
%NNSETUP建立前向神經網路
% nn = nnsetup(architecture) 返回一個神經網路結構，architecture為結構引數
% architecture 是一個n x 1 向量，表示每一層神經元的個數
%比如architecture=[784 100 10]，表示輸入層為784維輸入，100個隱含層，10個輸出層
%為什麼是輸入為784：因為每一個手寫體大小為28*28的，也就是784維度
%隱含層為什麼是100：隨便設定的，可以隨意修改，需要設計
%輸出為什麼是10：手寫體有0-9這10種結果，所以為10

    nn.size   = architecture;
    nn.n      = numel(nn.size);

    nn.activation_function              = 'tanh_opt';   % 隱含層啟用函式: 'sigm' (sigmoid) or 'tanh_opt' (預設 tanh).
    nn.learningRate                     = 2;            %  學習率: typically needs to be lower when using 'sigm' activation function and non-normalized inputs.
    nn.momentum                         = 0.5;          %  Momentum 權值動量因子
    nn.scaling_learningRate             = 1;            %  學習率變化因子 (each epoch)
    nn.weightPenaltyL2                  = 0;            %  L2 regularization
    nn.nonSparsityPenalty               = 0;            %  非稀疏懲罰
    nn.sparsityTarget                   = 0.05;         %  稀疏目標值
    nn.inputZeroMaskedFraction          = 0;            %  自動編碼的去噪作用
    nn.dropoutFraction                  = 0;            %  Dropout level (http://www.cs.toronto.edu/~hinton/absps/dropout.pdf)
    nn.testing                          = 0;            %  Internal variable. nntest sets this to one.
    nn.output                           = 'sigm';       %  輸出啟用output unit 'sigm' (=logistic), 'softmax' and 'linear'

    for i = 2 : nn.n   
        % weights and weight momentum
        nn.W{i - 1} = (rand(nn.size(i), nn.size(i - 1)+1) - 0.5) * 2 * 4 * sqrt(6 / (nn.size(i) + nn.size(i - 1)));
        nn.vW{i - 1} = zeros(size(nn.W{i - 1}));

        % average activations (for use with sparsity)
        nn.p{i}     = zeros(1, nn.size(i));   
    end
end

這個函式理解起來很簡單，初始化網路，網路需要什麼初始化什麼，一大堆初始化是適應所有的網路的（cnn,dbn等等），有些用到了再說吧，現在你只需要知道網路的結構，以及與稀疏編碼表示有關的引數： nn.nonSparsityPenalty ，nn.sparsityTarget，這也就是上節說到的，為什麼稀疏表示具體怎麼樣不用管，實際使用的時候只是這麼幾個引數設定，其他的交給程式吧。再有就是注意下啟用函式 nn.activation_function。，然後網路權值隨機初始化。

這裡再說下這個函式整體：[nn, L] = nntrain(nn, train_x, train_y, opts);

可以看到nntrain需要的是設計的網路nn，訓練資料train_x，訓練對應的目標值train_y，以及附加引數opts。附加引數包括：重複訓練次數opts.numepochs，訓練資料每一塊大小opts.batchsize等等。函數出來的就是訓練好的網路nn,這個很重要，訓練好的nn為結構體，裡面包括你所需要的所有資訊，比如說每一層網路的權值係數，訓練誤差，等等都可以找到，並且在nntest也是用這個訓練好的nn。nntrain的具體實現細節見上面那個部落格的介紹吧。

Ok再來看看nntest，如下：

function [ri, right] = nntest(nn, x, y)
    labels = nnpredict(nn, x);
    [~, expected] = max(y,[],2);
    right = find(labels == expected);    
    ri = numel(right) / size(x, 1);
end

呼叫一下nnpredict。函式需要的就是測試資料x和標籤y，如果有y的話那麼可以計算準確率，如果沒有y的話那麼你可以自己直接呼叫 labels = nnpredict(nn, x)可以得到預測的標籤。

Ok這就是一個簡單的一般化的神經網路了，和我們第三節的matlab自帶的神經網路工具箱實現的功能差不多。然而複雜的帶稀疏自編碼的深度學習網路，自帶的就不行了。下一節再來看看同過該工具箱建立稀疏自編碼的網路。