1. 程式人生 > >基於神經網路(多層感知機)識別手寫數字

基於神經網路(多層感知機)識別手寫數字

資料集是經典的MNIST,來自美國國家標準與技術研究所,是人工書寫的0~9數字圖片,圖片的畫素為28*28,圖片為灰度圖。MNIST分別為訓練集和測試集,訓練資料包含6萬個樣本,測試資料集包含1萬個樣本。使用Tensorflow框架載入資料集。

載入資料集的程式碼如下:

import tensorflow as tf
import  ssl
ssl._create_default_https_context=ssl._create_unverified_context
from tensorflow.examples.tutorials.mnist import  input_data
mnist=input_data.read_data_sets("./mnist_data",one_hot=True)

定義學習率、迭代次數、批大小、批數量(總樣本數處以批大小)等引數,設定輸入層大小為784,即將28*28的畫素展開為一維行向量(一個輸入圖片784個值)。第一層和第二層隱層神經元數量均為256,輸出層的分類類別為0~9的數字,即10個類別。

learning_rate=0.005 #學習率
training_epochs=20 #迭代次數
batch_size=100  #批大小
batch_count=int(mnist.train.num_examples/batch_size) #批數量
n_hidden_1=256 #第一層和第二層隱層神經元數量均為256
n_hidden_2=256
n_input=784#設定輸入層的大小為784
n_classes=10 #(0-9數字)
X=tf.placeholder("float",[None,n_input])
Y=tf.placeholder("float",[None,n_classes])

使用tf.random_normal()生成模型權重值引數矩陣和偏置值引數,並將其分別儲存於weights和biases變數中,並定義多層感知機的神經網路模型。

weights={
    'weight1':tf.Variable(tf.random_normal([n_input,n_hidden_1])),
    'weight2':tf.Variable(tf.random_normal([n_hidden_1,n_hidden_2])),
    'out':tf.Variable(tf.random_normal([n_hidden_2,n_classes]))
}
biases={
    'bias1':tf.Variable(tf.random_normal([n_hidden_1])),
    'bias2':tf.Variable(tf.random_normal([n_hidden_2])),
    'out':tf.Variable(tf.random_normal([n_classes]))
}
def multilayer_perceptron_model(x):
    layer_1=tf.add(tf.matmul(x,weights['weight1']),biases['bias1'])
    layer_2=tf.add(tf.matmul(layer_1,weights['weight2']),biases['bias2'])
    out_layer=tf.matmul(layer_2,weights['out'])+biases['out']
    return out_layer

使用輸入變數X初始化模型,定義損失函式為交叉熵,採用梯度下降法作為優化器,並對模型中tf.placeholder定義的各引數初始化,程式碼如下:

logits=multilayer_perceptron_model(X) #多層感知機
loss_op=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=logits,labels=Y)) #定義損失函式為交叉熵
optimizer=tf.train.GradientDescentOptimizer(learning_rate)
train_op=optimizer.minimize(loss_op)
init=tf.global_variables_initializer()#引數初始化

將訓練集輸入模型進行訓練,並計算每個批次的平均損失,在每次迭代時輸出模型的平均損失,程式碼如下:

with tf.Session() as sess:
    sess.run(init)
    for epochs in range(training_epochs):
        avg_cost=0
        for i in range(batch_count):
          train_x,train_y=mnist.train.next_batch(batch_size)
          _,c=sess.run([train_op,loss_op],feed_dict={X:train_x,Y:train_y})
          avg_cost+=c/batch_count #計算每個批次的平均損失
        print("Epoch:",'%02d' % (epochs+1),"avg cost={:.6f}".format(avg_cost))

模型訓練完成,使用測試集樣本對其評估,並計算其正確率,程式碼如下:

 pred=tf.nn.softmax(logits)  #Apply softmax to logits
    correct_pediction=tf.equal(tf.argmax(pred,1),tf.argmax(Y,1))
    accuracy=tf.reduce_mean(tf.cast(correct_pediction,"float"))
    print("Accuracy:",accuracy.eval({X:mnist.test.images,Y:mnist.test.labels}))

完整程式碼如下所示:

import tensorflow as tf
import  ssl
ssl._create_default_https_context=ssl._create_unverified_context
from tensorflow.examples.tutorials.mnist import  input_data
mnist=input_data.read_data_sets("./mnist_data",one_hot=True)
#定義學習率、迭代次數、批大小、批數量(總樣本數除以批大小)等引數,設定輸入層大小為784,即將28*28的畫素展開為一維行向量(一個輸入圖片784個值)。第一層和第二層隱層神經元數量均為256輸出層的分類類別為0~9的數字,即10個類別
learning_rate=0.005 #學習率
training_epochs=20 #迭代次數
batch_size=100  #批大小
batch_count=int(mnist.train.num_examples/batch_size) #批數量
n_hidden_1=256 #第一層和第二層隱層神經元數量均為256
n_hidden_2=256
n_input=784#設定輸入層的大小為784
n_classes=10 #(0-9數字)
X=tf.placeholder("float",[None,n_input])
Y=tf.placeholder("float",[None,n_classes])
#使用tf.random_normal()生成模型權重值引數矩陣和偏置引數,並將其分別儲存於weights和biases變數中,並定義多層感知機的神經網路模型
weights={
    'weight1':tf.Variable(tf.random_normal([n_input,n_hidden_1])),
    'weight2':tf.Variable(tf.random_normal([n_hidden_1,n_hidden_2])),
    'out':tf.Variable(tf.random_normal([n_hidden_2,n_classes]))
}
biases={
    'bias1':tf.Variable(tf.random_normal([n_hidden_1])),
    'bias2':tf.Variable(tf.random_normal([n_hidden_2])),
    'out':tf.Variable(tf.random_normal([n_classes]))
}
def multilayer_perceptron_model(x):
    layer_1=tf.add(tf.matmul(x,weights['weight1']),biases['bias1'])
    layer_2=tf.add(tf.matmul(layer_1,weights['weight2']),biases['bias2'])
    out_layer=tf.matmul(layer_2,weights['out'])+biases['out']
    return out_layer
#使用輸入變數X初始化模型,定義損失函式為交叉熵,採用梯度下降法作為優化器(除此之外  還可選MomentumOptimizer、AdagradOptimizer、AdamOptimizer等,見註釋部分
#並對模型中tf.placeholder定義的各引數初始化
logits=multilayer_perceptron_model(X) #多層感知機
loss_op=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=logits,labels=Y)) #定義損失函式為交叉熵
optimizer=tf.train.GradientDescentOptimizer(learning_rate)
train_op=optimizer.minimize(loss_op)
init=tf.global_variables_initializer()#引數初始化
#將訓練集樣本輸入模型進行訓練,並計算每個批次的平均損失,在每次迭代時輸出模型的平均損失
with tf.Session() as sess:
    sess.run(init)
    for epochs in range(training_epochs):
        avg_cost=0
        for i in range(batch_count):
          train_x,train_y=mnist.train.next_batch(batch_size)
          _,c=sess.run([train_op,loss_op],feed_dict={X:train_x,Y:train_y})
          avg_cost+=c/batch_count #計算每個批次的平均損失
        print("Epoch:",'%02d' % (epochs+1),"avg cost={:.6f}".format(avg_cost))
#模型訓練完成,使用測試集樣本對其評估,並計算其正確率
    pred=tf.nn.softmax(logits)  #Apply softmax to logits
    correct_pediction=tf.equal(tf.argmax(pred,1),tf.argmax(Y,1))
    accuracy=tf.reduce_mean(tf.cast(correct_pediction,"float"))
    print("Accuracy:",accuracy.eval({X:mnist.test.images,Y:mnist.test.labels}))

執行結果如下所示:

模型的精確率為87%