1. 程式人生 > >caffe的python接口學習(4)mnist實例手寫數字識別

caffe的python接口學習(4)mnist實例手寫數字識別

數字 interval with lac EDA 變化 mode 指數 lB

以下主要是摘抄denny博文的內容,更多內容大家去看原作者吧  

一 數據準備

  準備訓練集和測試集圖片的列表清單;

  二 導入caffe庫,設定文件路徑

  

# -*- coding: utf-8 -*-

import caffe
from caffe import layers as L,params as P,proto,to_proto
#設定文件的保存路徑
root=/home/xxx/#根目錄
train_list=root+mnist/train/train.txt#訓練圖片列表
test_list=root+mnist/test/test.txt#測試圖片列表
train_proto=root+mnist/train.prototxt#訓練配置文件
test_proto=root+mnist/test.prototxt#測試配置文件
solver_proto=root+mnist/solver.prototxt#參數文件
技術分享圖片

其中train.txt 和test.txt文件已經有了,其它三個文件,我們需要自己編寫。

此處註意:一般caffe程序都是先將圖片轉換成lmdb文件,但這樣做有點麻煩。因此我就不轉換了,我直接用原始圖片進行操作,所不同的就是直接用圖片操作,均值很難計算,因此可以不減均值。

  三 生成配置文件

  

配置文件實際上就是一些txt文檔,只是後綴名是prototxt,我們可以直接到編輯器裏編寫,也可以用代碼生成。此處,我用python來生成。

技術分享圖片
#編寫一個函數,生成配置文件prototxt
def Lenet(img_list,batch_size,include_acc=False):
    #第一層,數據輸入層,以ImageData格式輸入
    data, label = L.ImageData(source=img_list, batch_size=batch_size, ntop=2,root_folder=root,
        transform_param=dict(scale= 0.00390625))
    #第二層:卷積層
    conv1=L.Convolution(data, kernel_size=5, stride=1,num_output=20, pad=0,weight_filler=dict(type=xavier))
    #池化層
    pool1=L.Pooling(conv1, pool=P.Pooling.MAX, kernel_size=2, stride=2)
    #卷積層
    conv2=L.Convolution(pool1, kernel_size=5, stride=1,num_output=50, pad=0,weight_filler=dict(type=xavier))
    #池化層
    pool2=L.Pooling(conv2, pool=P.Pooling.MAX, kernel_size=2, stride=2)
    #全連接層
    fc3=L.InnerProduct(pool2, num_output=500,weight_filler=dict(type=xavier))
    #激活函數層
    relu3=L.ReLU(fc3, in_place=True)
    #全連接層
    fc4 = L.InnerProduct(relu3, num_output=10,weight_filler=dict(type=xavier))
    #softmax層
    loss = L.SoftmaxWithLoss(fc4, label)
    
    if include_acc:             # test階段需要有accuracy層
        acc = L.Accuracy(fc4, label)
        return to_proto(loss, acc)
    else:
        return to_proto(loss)
    
def write_net():
    #寫入train.prototxt
    with open(train_proto, w) as f:
        f.write(str(Lenet(train_list,batch_size=64)))

    #寫入test.prototxt    
    with open(test_proto, w) as f:
        f.write(str(Lenet(test_list,batch_size=100, include_acc=True)))
技術分享圖片

配置文件裏面存放的,就是我們所說的network。我這裏生成的network,可能和原始的Lenet不太一樣,不過影響不大。

  四 生成solver文件

  

同樣,可以在編輯器裏面直接書寫,也可以用代碼生成。

技術分享圖片
#編寫一個函數,生成參數文件
def gen_solver(solver_file,train_net,test_net):
    s=proto.caffe_pb2.SolverParameter()
    s.train_net =train_net
    s.test_net.append(test_net)
    s.test_interval = 938    #60000/64,測試間隔參數:訓練完一次所有的圖片,進行一次測試  
    s.test_iter.append(100)  #10000/100 測試叠代次數,需要叠代100次,才完成一次所有數據的測試
    s.max_iter = 9380       #10 epochs , 938*10,最大訓練次數
    s.base_lr = 0.01    #基礎學習率
    s.momentum = 0.9    #動量
    s.weight_decay = 5e-4  #權值衰減項
    s.lr_policy = step#學習率變化規則
    s.stepsize=3000         #學習率變化頻率
    s.gamma = 0.1          #學習率變化指數
    s.display = 20         #屏幕顯示間隔
    s.snapshot = 938       #保存caffemodel的間隔
    s.snapshot_prefix =root+‘mnist/lenet#caffemodel前綴
    s.type =SGD#優化算法
    s.solver_mode = proto.caffe_pb2.SolverParameter.GPU    #加速
    #寫入solver.prototxt
    with open(solver_file, w) as f:
        f.write(str(s))

技術分享圖片  

  五 開始訓練模型

  

訓練過程中,也在不停的測試。

#開始訓練
def training(solver_proto):
    caffe.set_device(0)
    caffe.set_mode_gpu()
    solver = caffe.SGDSolver(solver_proto)
    solver.solve()

最後,調用以上的函數就可以了。

if __name__ == __main__:
    write_net()
    gen_solver(solver_proto,train_proto,test_proto) 
    training(solver_proto)

  六 完成的python文件

  

mnist.py

技術分享圖片 View Code

我將此文件放在根目錄下的mnist文件夾下,因此可用以下代碼執行

sudo python mnist/mnist.py

在訓練過程中,會保存一些caffemodel。多久保存一次,保存多少次,都可以在solver參數文件裏進行設置。

我設置為訓練10 epoch,9000多次,測試精度可以達到99%

caffe的python接口學習(4)mnist實例手寫數字識別