1. 程式人生 > >Tensorflow訓練卷積神經網路並儲存模型,載入模型並匯入手寫圖片測試

Tensorflow訓練卷積神經網路並儲存模型,載入模型並匯入手寫圖片測試

        剛學習tensorflow,折騰了這幾天,之前一直按照書上的教程訓練網路,看那些沒玩沒了的不斷接近於1的準確率,甚是無聊,我一直想將辛辛苦苦訓練出來的網路,那些識別率看上去很高的網路,是否能真正用來識別外面匯入的圖片呢,而不僅僅是那些訓練集或者測試集的圖片。

        之前寫過一篇部落格是用keras的基於tensorflow的高階API寫的,模型的設定、訓練、儲存、載入都非常簡單,其實我還是很喜歡用哪=那個高階API的,不過Tensorflow常用的套路還是需要會的,所以倒騰了這兩天,按照書上寫的卷積網路的步驟自己去實踐,然後結合模型載入部分的程式碼區載入模型,然後通過OpenCV去匯入圖片和進行圖片的變形,最後實現了對自己手寫的圖片的識別,還是很開心的。

       大家要是不會用OpenCV的話,對於外面匯入圖片以及圖片處理的操作,Tensorflow也提供了相關的工具,我就不展開。

       下面就不多廢話,直接看程式碼: (我的工程已經放在我的github上,地址為:https://github.com/MRJTM/Tensorflow_Mnist.git)注意這裡的git是小寫的,大寫是無法訪問的

import tensorflow as tf
from  tensorflow.examples.tutorials.mnist import input_data
import numpy as np
import os
import cv2

# 遮蔽waring資訊
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

"""------------------載入資料---------------------"""
# 載入資料
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
trX, trY, teX, teY = mnist.train.images, mnist.train.labels, mnist.test.images, mnist.test.labels
# 改變資料格式,為了能夠輸入卷積層
trX = trX.reshape(-1, 28, 28, 1)  # -1表示不考慮輸入圖片的數量,1表示單通道
teX = teX.reshape(-1, 28, 28, 1)

"""------------------構建模型---------------------"""
# 定義輸入輸出的資料容器
X = tf.placeholder("float", [None, 28, 28, 1])
Y = tf.placeholder("float", [None, 10])


# 定義和初始化權重、dropout引數
def init_weights(shape):
    return tf.Variable(tf.random_normal(shape, stddev=0.01))


w1 = init_weights([3, 3, 1, 32])        # 3X3的卷積核,獲得32個特徵
w2 = init_weights([3, 3, 32, 64])       # 3X3的卷積核,獲得64個特徵
w3 = init_weights([3, 3, 64, 128])      # 3X3的卷積核,獲得128個特徵
w4 = init_weights([128 * 4 * 4, 625])   # 從卷積層到全連層
w_o = init_weights([625, 10])           # 從全連層到輸出層

p_keep_conv = tf.placeholder("float")
p_keep_hidden = tf.placeholder("float")


# 定義模型
def create_model(X, w1, w2, w3, w4, w_o, p_keep_conv, p_keep_hidden):
    # 第一組卷積層和pooling層
    conv1 = tf.nn.conv2d(X, w1, strides=[1, 1, 1, 1], padding='SAME')
    conv1_out = tf.nn.relu(conv1)
    pool1 = tf.nn.max_pool(conv1_out, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
    pool1_out = tf.nn.dropout(pool1, p_keep_conv)

    # 第二組卷積層和pooling層
    conv2 = tf.nn.conv2d(pool1_out, w2, strides=[1, 1, 1, 1], padding='SAME')
    conv2_out = tf.nn.relu(conv2)
    pool2 = tf.nn.max_pool(conv2_out, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
    pool2_out = tf.nn.dropout(pool2, p_keep_conv)

    # 第三組卷積層和pooling層
    conv3 = tf.nn.conv2d(pool2_out, w3, strides=[1, 1, 1, 1], padding='SAME')
    conv3_out = tf.nn.relu(conv3)
    pool3 = tf.nn.max_pool(conv3_out, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
    pool3 = tf.reshape(pool3, [-1, w4.get_shape().as_list()[0]])  # 轉化成一維的向量
    pool3_out = tf.nn.dropout(pool3, p_keep_conv)

    # 全連層
    fully_layer = tf.matmul(pool3_out, w4)
    fully_layer_out = tf.nn.relu(fully_layer)
    fully_layer_out = tf.nn.dropout(fully_layer_out, p_keep_hidden)

    # 輸出層
    out = tf.matmul(fully_layer_out, w_o)

    return out


model = create_model(X, w1, w2, w3, w4, w_o, p_keep_conv, p_keep_hidden)

# 定義代價函式、訓練方法、預測操作
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=model, labels=Y))
train_op = tf.train.RMSPropOptimizer(0.001, 0.9).minimize(cost)
predict_op = tf.argmax(model, 1,name="predict")

# 定義一個saver
saver=tf.train.Saver()

# 定義儲存路徑
ckpt_dir="./ckpt_dir"
if not os.path.exists(ckpt_dir):
    os.makedirs(ckpt_dir)

"""------------------訓練模型或者載入模型進行測試---------------------"""
train_batch_size = 128  # 訓練集的mini_batch_size=128
test_batch_size = 256   # 測試集中呼叫的batch_size=256
epoches = 5  # 迭代週期
with tf.Session() as sess:
    """-------訓練模型--------"""
    # 初始化所有變數
    tf.global_variables_initializer().run()

    # 訓練操作
    # for i in range(epoches):
    #     train_batch = zip(range(0, len(trX), train_batch_size),
    #                       range(train_batch_size, len(trX) + 1, train_batch_size))
    #     for start, end in train_batch:
    #         sess.run(train_op, feed_dict={X: trX[start:end], Y: trY[start:end],
    #                                       p_keep_conv: 0.8, p_keep_hidden: 0.5})
    #     # 每個週期用測試集中隨機抽出test_batch_size個圖片進行測試
    #     test_indices = np.arange(len(teX))  # 返回一個array[0,1...len(teX)]
    #     np.random.shuffle(test_indices)     # 打亂這個array
    #     test_indices = test_indices[0:test_batch_size]
    #
    #     # 獲取測試集test_batch_size章圖片的的預測結果
    #     predict_result = sess.run(predict_op, feed_dict={X: teX[test_indices],
    #                                                      p_keep_conv: 1.0,
    #                                                      p_keep_hidden: 1.0})
    #     # 獲取真實的標籤值
    #     true_labels = np.argmax(teY[test_indices], axis=1)
    #
    #     # 計算準確率
    #     accuracy = np.mean(true_labels == predict_result)
    #     print("epoch", i, ":", accuracy)
    #
    #     # 儲存模型
    #     saver.save(sess,ckpt_dir+"/model.ckpt",global_step=i)

    """-----載入模型,用匯入的圖片進行測試--------"""
    # 載入圖片
    src = cv2.imread('./Pictures/9.png')
    cv2.imshow("待測圖片", src)

    # 將圖片轉化為28*28的灰度圖
    src = cv2.cvtColor(src, cv2.COLOR_BGR2GRAY)
    dst = cv2.resize(src, (28, 28), interpolation=cv2.INTER_CUBIC)

    # 將灰度圖轉化為1*784的能夠輸入的網路的陣列
    picture = np.zeros((28, 28))
    for i in range(0, 28):
        for j in range(0, 28):
            picture[i][j] = (255 - dst[i][j])
    picture = picture.reshape(1, 28, 28, 1)

    # 載入模型
    saver.restore(sess,ckpt_dir+"/model.ckpt-4")

    # 進行預測
    predict_result = sess.run(predict_op, feed_dict={X: picture,
                                                    p_keep_conv: 1.0,
                                                    p_keep_hidden: 1.0})
    print("你匯入的圖片是:",predict_result[0])
    cv2.waitKey(20170731)
以上程式碼註釋掉的部分是用來訓練的,如果你想先訓練,就註釋掉"""------載入摸型,用匯入的圖片進行測試------"""下面的程式碼,將"""--------訓練模型--------""""下面被註釋掉的程式碼取消註釋即可,訓練會產生一個ckpt_dir的資料夾,裡邊存放著儲存的模型 如果訓練好後想測試,那麼就把訓練部分註釋掉,把"""------載入摸型,用匯入的圖片進行測試-----"""下面的程式碼取消註釋即可 執行現象如下: 訓練的時候,因為只有CPU,所以我只跑了5個迭代週期:

然後測試的時候,我用了一張手寫的2去測試,效果如下: