4.3CNN卷積神經網路最詳細最容易理解--tensorflow原始碼MLP對比

import tensorflow as tf

import numpy as np

import matplotlib.pyplot as plot

#（1）定義手寫數字資料獲取類，用於下載資料和隨機獲取小批量訓練資料

class MNISTLoader():

    def __init__(self):

        minist = tf.keras.datasets.mnist

        #訓練資料x_train, 正確值y_train，測試資料x_test，測試資料正確值self.y_test

        (self.x_train, self.y_train), (self.x_test, self.y_test) = minist.load_data()

        #[60000,28,28,1],60000個28*28畫素的圖片資料，每個畫素點時0-255的整數，除以255.0是將每個畫素值歸一化為0-1間

        #的浮點數，並通過np.expand_dims增加一維，作為顏色通道.預設值為1。

        self.x_train = np.expand_dims(self.x_train.astype(np.float) / 255.0, axis=-1)

        print(self.x_train.shape)

        #[10000,28,28]->[10000,28,28,1]

        self.x_test = np.expand_dims(self.x_test.astype(np.float) / 255.0, axis=-1)

        #訓練用的標籤值

        self.y_train = self.y_train.astype(np.int)

        #測試用的標籤值

        self.y_test = self.y_test.astype(np.int)

        self.num_train_data = self.x_train.shape[0]

        self.num_test_data = self.x_test.shape[0]

    #隨機從資料集中獲取大小為batch_size手寫圖片資料

    def get_batch(self, batch_size):

        #shape[0]獲取資料總數量，在0-總數量之間隨機獲取資料的索引值，相當於抽樣。

        index = np.random.randint(0, self.x_train.shape[0], batch_size)

        #通過索引值去資料集中獲取訓練資料集。

        return self.x_train[index, :], self.y_train[index]

#（2）定義CNN卷積神經網路模型，繼承繼承keras.Model，init函式定義層，call函式中組織資料處理流程

class CNN(tf.keras.Model):

    def __init__(self):

        super(CNN, self).__init__()

        #卷積層1

        self.conv1 = tf.keras.layers.Conv2D(filters=32,#卷積核數目

                                            kernel_size=[5,5],#感受野大小

                                            padding='same',#矩陣補0使得輸入輸出大小一致，valid則不補0

                                            activation=tf.nn.relu)#啟用函式

        #池化層1

        self.pool1=tf.keras.layers.MaxPool2D(pool_size=[2,2],strides=2)

        #卷積層2

        self.conv2 = tf.keras.layers.Conv2D(filters=64,  # 卷積核數目

                                            kernel_size=[5, 5],  # 感受野大小

                                            padding='same',  # 矩陣補0使得輸入輸出大小一致，valid則不補0

                                            activation=tf.nn.relu)  # 啟用函式

        # 池化層2

        self.pool2= tf.keras.layers.MaxPool2D(pool_size=[2, 2], #2*2的感受野

                                              strides=2)#步長為2

        # 維度轉換，三維7*7*64，轉為1維3136

        self.flatten = tf.keras.layers.Reshape(target_shape=[7*7*64,])

        #全連線層，將3136個畫素點轉化為1024個

        self.dence1 = tf.keras.layers.Dense(units=1024, activation=tf.nn.relu)

        #全連線層，將1024個單元轉化為10個點

        self.dence2 = tf.keras.layers.Dense(units=10)

    def call(self, inputs, training=None, mask=None):

        #編寫資料流的處理過程，

        x=self.conv1(inputs)#[batch_size,28,28,32]

        x=self.pool1(x)#[batch_size,14,14,32]圖片大小變為14*14

        x=self.conv2(x)#[batch_size,14,14,,64]，

        x=self.pool2(x)#[batch_size,7,7,64]，

        x = self.flatten(x)#三維7*7*64陣列轉化為3136一維陣列

        x = self.dence1(x)#3136個對映到1024個

        x = self.dence2(x)#1024個對映到10個，分別表示對應0,1..9數字的概率

        output = tf.nn.softmax(x)#輸出0,1..9概率最大的值。

        return output

#（3）定義訓練引數和模型物件，資料集物件

num_epochs = 5

batch_size = 500#一批資料的數量

learning_rate = 0.001#學習率

model = CNN()#建立模型

data_loader = MNISTLoader()#建立資料來源物件

optimizer = tf.keras.optimizers.Adam(learning_rate=learning_rate)#建立優化器，用於引數學習優化

#開始訓練引數

num_batches=int(data_loader.num_train_data//batch_size*num_epochs)#計算訓練資料的總組數

arryindex=np.arange(num_batches)

arryloss=np.zeros(num_batches)

#（4）通過梯度下降法對模型引數進行訓練，優化模型

for batch_index in range(num_batches):

    X,ylabel=data_loader.get_batch(batch_size)#隨機獲取訓練資料

    with tf.GradientTape() as tape:

        ypred=model(X)#模型計算預測值

        #計算損失函式

        loss=tf.keras.losses.sparse_categorical_crossentropy(y_true=ylabel,y_pred=ypred)

        #計算損失函式的均方根值，表示誤差大小

        loss=tf.reduce_mean(loss)

        print("第%d次訓練後:誤差%f" % (batch_index,loss.numpy()))

        #儲存誤差值，用於畫圖

        arryloss[batch_index]=loss

        #根據誤差計算梯度值

    grads=tape.gradient(loss,model.variables)

    #將梯度值調整模型引數

    optimizer.apply_gradients(grads_and_vars=zip(grads,model.variables))

#畫出訓練誤差隨訓練次數的圖片圖

plot.plot(arryindex,arryloss,c='r')

plot.show()

#（5）評估模型的準確性

#建立評估器物件

sparse_categorical_accuracy=tf.keras.metrics.SparseCategoricalAccuracy()

#用測試資料集計算預測值

ytestpred=model.predict(data_loader.x_test)

#向評估器輸入預測值和真實值，計算準確率

sparse_categorical_accuracy.update_state(y_true=data_loader.y_test,y_pred=ytestpred)

print("test accuracy is %f" % sparse_categorical_accuracy.result())