1. 程式人生 > >TensorFlow的layer層搭建卷積神經網路(CNN),實現手寫體數字識別

TensorFlow的layer層搭建卷積神經網路(CNN),實現手寫體數字識別

   目前正在學習使用TensorFlow,看到TensorFlow官方API上有一個呼叫layer層來搭建卷積神經網路(CNN)的例子,和我們之前呼叫的nn層的搭建卷積神經網路稍微有點不同。感覺layer層封裝性更強,直接輸入引數就可以是實現。

程式碼如下:

#-*- coding: UTF-8 -*-

import  numpy as np
import tensorflow as tf
tf.logging.set_verbosity(tf.logging.INFO)


def cnn_model(features,labels,mode):

    #輸入層:
    input_layer = tf.reshape(features["x"], [-1, 28, 28, 1])

    #第一層卷積:
    conv1 = tf.layers.conv2d(inputs=input_layer,        #輸入的張量
                             filters=32,                #卷積核(過濾器)的數量
                             kernel_size=[5, 5],        #卷積核的size
                             padding='same',            #是否加padding,same和valid
                             activation=tf.nn.relu)     #啟用函式

    #第一層池化:
    pool1 = tf.layers.max_pooling2d(inputs=conv1,       #輸入的張量
                                    pool_size=[2, 2],   #池化層過濾器的size
                                    strides=2)          #池化的步長

    #第二層卷積:
    conv2 = tf.layers.conv2d(inputs=pool1,
                             filters=64,
                             kernel_size=[5,5],
                             padding='same',
                             activation=tf.nn.relu)

    #第二層池化:
    pool2 = tf.layers.max_pooling2d(inputs=conv2,
                                    pool_size=[2,2],
                                    strides=2)

    #扁平化pool2:
    pool2_flat = tf.reshape(pool2, [-1, 7 * 7 * 64])

    #全連線層:
    dense = tf.layers.dense(inputs=pool2_flat,
                            units=1024,               #神經元的個數
                            activation=tf.nn.relu)     #啟用函式

    dropout = tf.layers.dropout(inputs=dense,         #為了改進模型,在全連線層使用dropout正則化
                                rate=0.4,             #這裡設定為0.4,表示每個神經元都有0.4的概率會在訓練的過程中被捨棄.
                                training=mode == tf.estimator.ModeKeys.TRAIN)    #採用布林值來指定模型當前是否在訓練模式下執行,只有在訓練模式下,才會進行dropout

    #迴歸層/輸出層
    logist = tf.layers.dense(inputs=dropout,
                             units=10,)
    #tf.argmax(input=logist,axis=1)   #輸出預測的值
    #tf.nn.softmax(logist,name="softmax_tensor") #屬於每個類別的概率

    #預測:
    prediction = {
        "classes":tf.argmax(input=logist, axis=1), #預測的類別(預測的值,比如值為7)
        "probabilities":tf.nn.softmax(logist,name="softmax_tensor")   #預測的概率,比如值為7的概率
    }
    if mode == tf.estimator.ModeKeys.PREDICT:
        return tf.estimator.EstimatorSpec(mode=mode,predictions=prediction)

    #損失函式:
    onehot_labels = tf.one_hot(indices=tf.cast(labels, tf.int32), depth=10) #對lable進行 one_hot編碼
    loss = tf.losses.sparse_softmax_cross_entropy(labels=labels, logits=logist)
    #loss = tf.losses.sparse_softmax_cross_entropy(labels=onehot_labels, logits=logist)

    #訓練模型
    if mode == tf.estimator.ModeKeys.TRAIN:
        optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.001)
        train_op = optimizer.minimize(loss=loss,
                                      global_step=tf.train.get_global_step())
        return tf.estimator.EstimatorSpec(mode=mode, loss=loss, train_op=train_op)

    #評估
    eval_metric_ops = {
        "accuarcy:": tf.metrics.accuracy(labels=labels,
                                         predictions=prediction["classes"])
    }
    return tf.estimator.EstimatorSpec(mode=mode,
                                      loss=loss,
                                      eval_metric_ops=eval_metric_ops)


def main():
    #載入資料:
    mnist = tf.contrib.learn.datasets.load_dataset("mnist")
    train_data = mnist.train.images
    train_labels = np.asarray(mnist.train.labels,dtype=np.int32)
    eval_data = mnist.test.images
    eval_labels = np.asarray(mnist.test.labels, dtype=np.int32)

    #評價模型/儲存模型
    #model_fn:指定用於訓練、評估和預測的模型函式;我們將之前建立的cnn_model作為引數
    #model_dir:指定用於儲存模型資料(檢查點)的目錄(這裡,我們指定臨時目錄G:\PythonCode\DLself\\temp\mnist_convnet_model,
    # 但可以隨意更改為您選擇的另一個目錄)。
    mnist_classifier = tf.estimator.Estimator(model_fn=cnn_model,
                                              model_dir="G:\PythonCode\DLself\\temp\mnist_convnet_model")

    #記錄日誌:
    tensor_to_log = {"probabilities": "softmax_tensor"}
    logging_hook = tf.train.LoggingTensorHook(
        tensors=tensor_to_log, every_n_iter=50)

    #訓練模型:
    train_input_fun = tf.estimator.inputs.numpy_input_fn(
        x={"x":train_data},
        y=train_labels,
        batch_size=100,   #每次訓練100張圖片
        num_epochs=None,  #模型將一直訓練,直到達到指定的步數
        shuffle=True      #每次訓練前打亂資料
    )
    mnist_classifier.train(input_fn=train_input_fun,
                           steps=20000,   #訓練20000次 
                           hooks=[logging_hook])

    eval_input_fun = tf.estimator.inputs.numpy_input_fn(
        x={"x":eval_data},
        y=eval_labels,
        num_epochs=1,
        shuffle=False
    )
    eval_results = mnist_classifier.evaluate(input_fn=eval_input_fun)
    print(eval_results)


if __name__ == "__main__":
    main()
    tf.app.run()

程式碼執行結果如下:


因為訓練CNN是非常耗時的,因為筆記本效能和時間關係我沒有執行完程式。但是根據官方API的說法:測試資料集已經達到了97.3%的準確率。

參考部落格中的程式執行結果: