2. 程式人生 > >【caffe學習筆記——mnist】mnist手寫資料集訓練和測試

【caffe學習筆記——mnist】mnist手寫資料集訓練和測試

阿新 • • 發佈：2019-02-13

http://blog.csdn.NET/liumaolincycle/article/details/47336921

本文主要來自Caffe作者Yangqing Jia網站給出的examples。

@article{jia2014caffe,
  Author = {Jia, Yangqing and Shelhamer, Evan and Donahue, Jeff and Karayev, Sergey and Long, Jonathan and Girshick, Ross and Guadarrama, Sergio and Darrell, Trevor},
  Journal = {arXiv preprint arXiv:
 
1408.5093},
  Title = {Caffe: Convolutional Architecture for Fast Feature Embedding},
  Year = {2014}
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

1.準備資料集

首先從MNIST網站上下載資料集，執行：

cd $CAFFE_ROOT 
./data/mnist/get_mnist.sh
  • 1
  • 2

下載到四個檔案，從左至右依次是測試集影象、測試集標籤、訓練集影象、訓練集標籤：

圖1

轉換資料格式：

./examples/mnist/create_mnist.sh
  • 1

在 examples/mnist下出現兩個新的資料夾：

圖2

create_mnist.sh這個指令碼是將訓練集和測試集分別轉換成了lmdb格式。

圖3

2.LeNet: MNIST分類模型

本實驗用的網路模型是LeNet，它是公認在數字分類任務上效果很好的網路。實驗中在原始 LeNet基礎上做了一點改動，對於神經元的啟用，用ReLU替換了sigmoid。 
LeNet的設計包括一個卷積層，後隨一個pooling層，再一個卷積層，後隨一個pooling層，再兩個全連線層，類似於傳統的多層感知器。經典LeNet如圖：

圖4

這些層的定義在examples/mnist/lenet_train_test.prototxt中。

3.定義MNIST網路

在定義自己的網路之前可以執行示例中給出的程式碼訓練網路：

sh examples/mnist/train_lenet.sh
  • 1

過程與CIFAR-10中的一樣，所用solver是examples/mnist/lenet_solver.prototxt，在這個solver中可以看到對訓練與測試的簡單設定，所用的網路定義就是examples/mnist/lenet_train_test.prototxt。 
下面詳細學習examples/mnist/lenet_train_test.prototxt的模型定義，學習的基礎是對Google Protobuf比較熟悉，可參考Google Protocol Buffer的使用和原理，還要讀過Caffe使用的protobuf定義，這個定義在src/caffe/proto/caffe.proto中。 
為了更深入地瞭解網路是怎麼定義的，我們自己寫一個caffe網路引數的protobuf。首先新建一個prototxt檔案，我這裡的命名是lenet_train_lml.prototxt。給網路取個名字：

name: "LeNet"
  • 1

3.1 寫資料層

現在要從之前建立的lmdb中讀取MNIST資料，定義如下的資料層：

layer { 
    name: "mnist"  #該層的名字
    type: "Data"    #輸入的型別
    data_param {    #資料引數
        source: "mnist_train_lmdb"  #資料來源，從 mnist_train_lmdb中讀入資料
        backend: LMDB   
        batch_size: 64  #批次大小，即一次處理64條資料
        scale: 0.00390625   #畫素灰度歸一化引數，1/256
    } 
    top: "data"     #該層生成兩個blob，分別是data和label
    top: "label" 
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

3.2 寫卷積層

定義第一個卷積層：

layer { 
    name: "conv1"   #該層的名字
    type: "Convolution"     #該層的型別
    param { lr_mult: 1 }    #學習率，權重的和solver的一樣
    param { lr_mult: 2 }    #偏移的是solver的兩倍
    convolution_param { 
        num_output: 20  #卷積核個數
        kernel_size: 5  #卷積核大小
            stride: 1   #步長
            weight_filler {  
            type: "xavier"  #用xavier演算法基於輸入輸出神經元數自動初始化權重
        } 
            bias_filler { 
            type: "constant"    #簡單初始化偏移為常數，預設為0 
        } 
    } 
    bottom: "data"  #該層的上一層是 data
    top: "conv1"    #該層生成conv1 blob
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19

3.3 寫pooling層

pooling層就好定義多了：

layer { 
    name: "pool1"   #該層的名字
    type: "Pooling"     #該層的型別
    pooling_param {     
        kernel_size: 2  #pooling的核是2×2
        stride: 2   #步長是2，也就是說相鄰pooling區域之間沒有重疊
        pool: MAX   #pooling的方式
    } 
    bottom: "conv1"     #該層的上一層是conv1
    top: "pool1"    #該層生成pool1 blob
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

然後就可以自己寫第二個卷積層和pooling層了，細節參考examples/mnist/lenet_train_test.prototxt。

layer { 
    name: "conv2" 
    type: "Convolution" 
    bottom: "pool1" 
    top: "conv2" 
    param {  lr_mult: 1 } 
    param {  lr_mult: 2 } 
    convolution_param { 
        num_output: 50 #卷積核變成了50個
        kernel_size: 5 
        stride: 1 
        weight_filler { 
            type: "xavier" 
        } 
        bias_filler { 
            type: "constant" 
        } 
    } 
} 
layer { 
    name: "pool2" 
    type: "Pooling" 
    bottom: "conv2" 
    top: "pool2" 
    pooling_param { 
        pool: MAX 
        kernel_size: 2 
        stride: 2 
    } 
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30

3.4 寫全連線層

全連線層也比較簡單：

layer { 
    name: "ip1" #全連線層的名字
    type: "InnerProduct"    #全連線層的型別
    param { lr_mult: 1 } 
    param { lr_mult: 2 } 
    inner_product_param { 
        num_output: 500     #輸出500個節點
        weight_filler { 
            type: "xavier" 
        } 
        bias_filler { 
            type: "constant" 
        } 
    } 
    bottom: "pool2" 
    top: "ip1" 
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

3.5 寫ReLU層

layer { 
    name: "relu1" 
    type: "ReLU" 
    bottom: "ip1" 
    top: "ip1" 
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

因為ReLU是元素級操作，所以可以用一種叫做in-place（猜測可以翻譯為在原位置，也就是不開闢新記憶體）的操作來節省記憶體，這是通過簡單地把bottom blob和top blob設成同樣的名字來實現，當然了，不要在其他型別的層中這麼幹。 
然後再寫一個全連線層：

layer { 
    name: "ip2" 
    type: "InnerProduct" 
    param { lr_mult: 1 } 
    param { lr_mult: 2 } 
    inner_product_param { 
        num_output: 10 
        weight_filler { 
            type: "xavier" 
        } 
        bias_filler { 
            type: "constant" 
        } 
    } 
    bottom: "ip1" 
    top: "ip2" 
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

3.6 寫loss層

最後寫一個loss層：

layer { 
    name: "loss" 
    type: "SoftmaxWithLoss" 
    bottom: "ip2" 
    bottom: "label" 
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

softmax_loss層實現了Softmax和多項Logistic損失（節省了時間,同時提高了資料穩定性）。它需要兩個blob，第一個是預測，第二個是資料層生成的label。該層不產生輸出，只是計算loss函式的值，在反向傳播的時候使用，並初始化關於ip2的梯度。

3.7 寫層次規則

層次定義包含的規則是這些層是否以及什麼時候包含在網路定義中，像這樣：

layer { 
    #...layer definition... 
    include: { phase: TRAIN } 
}
  • 1
  • 2
  • 3
  • 4

這個規則基於現有網路狀態，控制網路中的層次包含關係，可以檢視src/caffe/proto/caffe.proto來獲取層次規則及模型概要的更多資訊。 
在上面的例子中，這個層只會包含在TRAIN階段中，如果把TRAIN改為TEST，這個層就只會被用於TEST階段。如果不寫TRAIN或TEST的話，那麼這個層TRAIN階段和TEST階段都會被用到，所以lenet_train_test.prototxt中定義了兩個DATA層，我們參考它也分別定義兩個DATA層：

layer {
    name: "mnist"
    type: "Data"
    top: "data"
    top: "label"
    include {
        phase: TRAIN
    }
    transform_param {
        scale: 0.00390625
    }
    data_param {
        source: "examples/mnist/mnist_train_lmdb"
        batch_size: 64
        backend: LMDB
    }
}
layer {
    name: "mnist"
    type: "Data"
    top: "data"
    top: "label"
    include {
        phase: TEST
    }
    transform_param {
        scale: 0.00390625
    }
    data_param {
        source: "examples/mnist/mnist_test_lmdb"
        batch_size: 100
        backend: LMDB
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34

另外，TEST階段有一個Accuracy層，它是用來每100次迭代報告一次模型準確率的，lenet_solver.prototxt中給出了定義，我們同樣也把它加上：

layer {
    name: "accuracy"
    type: "Accuracy"
    bottom: "ip2"
    bottom: "label"
    top: "accuracy"
    include {
        phase: TEST
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

4.定義MNIST的solver檔案

再看一下lenet_solver.prototxt中都定義了些什麼：

# 訓練/檢測網路的protobuf定義
net: "examples/mnist/lenet_train_lml.prototxt"
# test_iter指的是測試的迭代次數，這裡是100，測試批次大小也是100，這樣就覆蓋了10000個測試影象
test_iter: 100
# 每訓練迭代500次就測試一次
test_interval: 500
# 學習率，動量，權重下降
base_lr: 0.01
momentum: 0.9
weight_decay: 0.0005
# 學習率規則
lr_policy: "inv"
gamma: 0.0001
power: 0.75
# 每迭代100次顯示一次
display: 100
# 最大迭代次數
max_iter: 10000
# 每5000次迭代儲存一次快照
snapshot: 5000
snapshot_prefix: "examples/mnist/lenet"
# 選擇CPU還是GPU模式
solver_mode: GPU
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23

5.訓練與測試模型

在寫完網路定義和solver之後，就可以訓練模型了，執行：

./examples/mnist/train_lenet.sh
  • 1

會在終端看到這樣的訊息，這些訊息顯示了每一層的細節，即連線關係與輸出的形狀，在除錯的時候是很有用的：

圖5

初始化以後就開始訓練了：

圖6

solver中設定每100次迭代打印出訓練的loss，每1000次迭代打印出測試的loss：

圖7

迭代完結果就出來了：

圖8

最後的模型儲存在一個二進位制的protobuf檔案lenet_iter_10000.caffemodel中，在訓練其他資料集的時候可以把它作為基礎模型。

6.其他

通過這個實驗，終於知道網路要怎麼設定了，還有其他不同的solver值得一試。例如autoencoder網路，執行命令：

./examples/mnist/train_mnist_autoencoder.sh
  • 1

或者：

./examples/mnist/train_mnist_autoencoder_adagrad.sh
  • 1

或者：

./examples/mnist/train_mnist_autoencoder_nesterov.sh

相關推薦

【caffe學習筆記——mnist】mnist手寫資料集訓練和測試

http://blog.csdn.NET/liumaolincycle/article/details/47336921 本文主要來自Caffe作者Yangqing Jia網站給出的examples。 @article{jia2014caffe, Author = {Jia, Yangqing an

【caffe學習筆記之7】caffe-matlab/python訓練LeNet模型並應用於mnist資料集（2）

【案例介紹】 LeNet網路模型是一個用來識別手寫數字的最經典的卷積神經網路，是Yann LeCun在1998年設計並提出的，是早期卷積神經網路中最有代表性的實驗系統之一，其論文是CNN領域第一篇經典之作。本篇部落格詳細介紹基於Matlab、Python訓練lenet手

Caffe學習筆記(六)：mnist手寫數字識別訓練例項

一、前言    深度學習的一個簡單例項就是mnist手寫數字識別，只要這個例子弄明白，其它的內容就可以舉一反三了。之前的內容如有遺忘，可以進行回顧。 二、準備資料    資料集可以直接從我的github下載，包括資料集和程式碼，使用如下指令：

【caffe學習筆記之4】利用MATLAB介面執行cifar資料集

【前期準備工作】 1. 確保模型訓練成功，生成模型檔案：cifar10_quick_iter_4000.caffemodel及均值檔案：mean.binaryproto。注意，此處一定是生成caffemodel格式的模型檔案，而非.h5模型檔案，否則會導致Matlab執行

【caffe學習筆記】vision layer 特徵表達層

vision layer 特徵表達層 Header: ./include/caffe/vision_layers.hpp 特徵表達層通常將影象作為輸入，併產生其他影象作為輸出。 vision_lay

【caffe學習筆記之5】Win10系統下Caffe的Python介面設定方法並繪製網路結構圖

【準備工作】 前面幾節介紹了win10系統下caffe-master的配置方法以及cifar10資料集的訓練方法，並簡要介紹了Matlab介面如何配置。想要更為形象的瞭解caffe框架下諸多網路模型的

【canvas學習筆記一】基本認識

基本認識 設置 supported eight -c 失真 ont 之前 上下 <canvas>標簽定義了一塊畫布，畫布可以在網頁中繪制2D和3D圖象，現在先學習如何繪制2D圖象，繪制3D圖象屬於WebGL的內容（也就是網頁版的OpenGL，3D圖形接口）。 屬

【mysql學習筆記整理】

結束 ant 出現次數 varchar 移動 desc cal direct 指定 /*mysql學習筆記整理*/ /*常用的數據庫操作對象*/ #庫的操作#創建#數據庫的創建USE mysql;CREATE DATABASE db_x;#刪除#刪除數據庫DROP

【深度學習筆記1】如何建立和確定模型正確性？如何優化模型？

近期看了吳恩達的一本書，關於如何建立和確定優化模型？裡面有個人認為需要學習的地方，故做筆記： 1.模型訓練一共有三個資料集：訓練集、開發集（驗證集）、測試集。開發集不能太小，通常在1000-10000，並且測試集屬於同一分佈；2.過擬合：訓練過程中開發集的準確率和測試集測試的準確率差別不大，若開發集比測試集

【MYSQL學習筆記02】MySQL的高階應用之Explain（完美詳細版，看這一篇就夠了）

版權宣告：本文為博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/wx1528159409 最近學習MySQL的高階應用Explain，寫一篇學習心得與總結，目錄腦圖如下： 一、Explain基本概念 1. Explain定義 · 我們知道M

【MYSQL學習筆記01】MySQL的資料索引Index

最近學習MySQL的索引，以下是一點學習心得與總結： 我們都知道，在java的語法中，index指陣列中的下標；但在MySQL中，index的意思是索引。 1. 何為索引 MySQL官方對索引的定義為：索引（Index）是幫助MySQL高效獲取資料的資料結構。 解構這句話，分析和總結

【Django2+ 學習筆記 02】win10下Django及新專案部署

1. 安裝Python的Django，貌似是Django命令環境，並不是是專案。（使用--user是因為python安裝到了win的個人使用者下） pip install --user Django==2.1.3 如果本教程時間久遠，你可以用命令pip install --user Dj

【Django2+ 學習筆記 01】 Django2+官方中文教程

- Django2+需要python3.5+ - 本人做PHP，學習Python爬蟲做點副業。 凡是能作為後端的語言都能寫爬蟲，不要比較哪個語言更牛逼，做就完了。 - 學習目標： 0. 主要學習資料庫驅動的精髓，不管哪種後端語言全部面向api； 1. 比較與Lar

【機器學習筆記35】蟻群演算法

【參考資料】 【1】《蟻群演算法原理及其應用》 【2】測試資料: https://comopt.ifi.uni-heidelberg.de/software/TSPLIB95/tsp/att48.tsp.gz 演算法原理（以TSP問題為例） （1）引數初始化。令時間t=0和迴圈次數

【Django2x 學習筆記 03】建立path路由url（建立新路由URL，pathinfo模式多個傳參，GET模式多個傳參，返回json）

注意：Django2.1.3 下環境，Python3.7，基於最新的語言和框架的特性。 #1 已新建一個Django專案工程——mysite（假設：F = /django/mysite/ 目錄） django-admin startproject mysite #2&nbs

【Django2x 學習筆記 04】centos7 部署Python3.7x+Django2x+nginx+uwsgi

# 安裝Python3.7.1和Django： yum install gcc-c++ yum install libxml* yum install wget python的安裝依賴包： yum groupinstall "Development&nbs

【Django2x 學習筆記 05】面向api（模板使用者請跳過），操作已有資料庫的查詢、增加、修改

根據部落格https://blog.csdn.net/itas109/article/details/80898943 才知道如何查詢已有資料庫欄位。 Django官方文件https://docs.djangoproject.com/zh-hans/2.0/寫的真爛，愣是沒找到如何

fastai案例學習（3）——MNIST手寫資料集

本文主要介紹fastai自帶的案例，MNIST手寫資料集。 1、匯入包。 import fastai from fastai import * from fastai.vision import * 2、下載MNIST資料集。 path = untar_data(URLs.MNI

【Linux學習筆記11】移動檔案，目錄的mv命令以及關於檢視檔案的技巧

首先給大家分享一下移動檔案、目錄的命令—mv命令（move） （這裡不會像前面那麼詳細地說，因為與前一篇的cp命令有很多相同點，重頭戲在檢視檔案的技巧） mv命令：用於移動檔案或者目錄 mv /tmp/CJlinux/1/2/1.txt /t

【Python學習筆記2】turtle庫繪相簿使用

5.in[‘C’,’c’]保留字，二元關係操作，符合右側即為真， 6.print（“這裡輸入文字：%.2fF”%f）表示二位小數的浮點數，%f表示輸出的是f的值。 7.迴圈 for i in range (10):                      執行 8.