2.Keras建立多層感知器模型(接上一篇)

2.1簡單介紹多層感知器模型

注：以下模型及其說明來自於《TensorFlow+Keras深度學習人工智慧實踐應用》林大貴 著

以矩陣方式模擬多層感知器模型的工作方式(如下圖所示)

建立輸入與隱藏層的公式：

h1=ReLu(x*w1+b1)

建立隱藏層與輸出層公式：

y=softmax(h1*w2+b2)

2.2建立多層感知器模型的步驟

建立多層感知器模型識別MNIST資料集中的手寫數字步驟如下圖所示

2.3對資料進行預處理

輸入上一篇文章講到的關鍵程式碼

import numpy as np                             #匯入相關包
import pandas as pd
from keras.utils import np_utils
from keras.datasets import mnist
np.random.seed(10)

(X_train_image,y_train_label),(X_test_image,y_test_label)=mnist.load_data() #讀取MNIST資料

import matplotlib.pyplot as plt
def plot_image(image):                     #定義顯示某個數字影象的函式
    fig=plt.gcf()
    fig.set_size_inches(2,2)
    plt.imshow(image,cmap='binary')
    plt.show()

def plot_images_labels_prediction(images,labels,prediction,idx,num=10):   #定義顯示features，labels和prediction的函式
    fig=plt.gcf()
    fig.set_size_inches(12,14)
    if num>25:
        num=25
    for i in range(0,num):
        ax=plt.subplot(5,5,1+i)
        ax.imshow(images[idx],cmap='binary')
        title="label="+str(labels[idx])
        if len(prediction)>0:
            title+=",prediction="+str(prediction[idx])
        ax.set_title(title,fontsize=10)
        ax.set_xticks([])
        ax.set_yticks([])
        idx+=1
    plt.show()

X_Train=X_train_image.reshape(60000,784).astype('float32')   #將特徵值轉換為一維向量
X_Test=X_test_image.reshape(10000,784).astype('float32')

X_Train_normalize=X_Train/255  #將一維向量的數字標準化
X_Test_normalize=X_Test/255

y_TrainOneHot=np_utils.to_categorical(y_train_label)  #將labels轉換為One-Hot Encoding
y_TestOneHot=np_utils.to_categorical(y_test_label)

2.4建立模型並開始訓練

匯入相關模組

from keras.models import Sequential
from keras.layers import Dense
from keras.layers import Dropout

建立Sequential模型，並且加入‘’輸入層“，”Dropout功能“和”輸出層“

model=Sequential()                    #建立模型
model.add(Dense(units=256,            #定義”隱藏層“神經元個數為256
                input_dim=784,        #定義”輸入層“神經元個數為784，因為28*28=784
                kernel_initializer='normal',  #使用normal distribution正態分佈來初始化權重(weight)和偏差
                activation='relu'))  #定義啟用函式為relu
model.add(Dropout(0.5))              #加入Doupout功能，防止過擬合
model.add(Dense(units=10,            #定義”輸出層“神經元個數為10，代表0～9個數
               kernel_initializer='normal',
               activation='softmax')) #啟用函式為softmax

定義訓練方式

model.compile(loss='categorical_crossentropy',optimizer='adam',metrics=['accuracy'])

各引數的解釋如下表

接下來開始訓練

train_history=model.fit(x=X_Train_normalize,y=y_TrainOneHot,validation_split=0.2,epochs=10,batch_size=200,verbose=2)

執行程式碼，執行結果如下 可以看到，訓練樣本原來是60000的，把其中的48000作為訓練集，剩下的12000作為驗證集。另外，我們還注意到，loss(訓練集的損失函式)和val_loss(驗證集的損失函式)在逐步減小，acc(訓練集的準確率)和val_acc(驗證集的準確率)在提升。

接下來我們定義一個函式顯示訓練過程

def show_train_history(train_histroy,train,validation): #輸入引數為train_history和train_histroy.history中的索引train，validation
    plt.plot(train_histroy.history[train])            #train_histroy.history是一個字典
    plt.plot(train_history.history[validation])
    plt.title('Train Histroy')
    plt.ylabel(train)
    plt.xlabel('epoch')
    plt.legend(['train','validation'],loc='upper left')
    plt.show()

畫出準確率曲線

show_train_history(train_history,'acc','val_acc')

執行結果 可以看到，訓練和驗證的準確率都隨著epoch增加而增加，即準確率越來越高。

順便再看下損失函式的曲線圖

show_train_history(train_history,'loss','val_loss')

損失函式在逐步減小。

接下來，模型訓練完後，在開始預測前，我們先評估一下訓練模型的準確率是多少

scores=model.evaluate(X_Test_normalize,y_TestOneHot)
print(scores)

執行結果 說明：X_Test_normalize為測試集，y_TestOneHot為標籤，scores的第一項為損失函式，第二項為準確率，可以看到用測試集評估該模型的準確率為0.9768。

最後，開始預測

prediction=model.predict_classes(X_Test)

我們看下前25項的預測結果

plot_images_labels_prediction(X_test_image,y_test_label,prediction,idx=1,num=25)

執行結果 容易得知，10000個測試資料中肯定有預測錯的，我們可以定義一個函式來檢視預測錯誤的數量和圖形

def show_wrong(images,labels,prediction):
    fig=plt.gcf()
    fig.set_size_inches(20,60)
    array=[]
    for i in range(0,10000):
        if(str(labels[i])!=str(prediction[i])):            #把測試集的標籤和預測結果進行比較，不相等的就是預測錯誤的，用一個數組儲存不相等的索引
            array.append(i)
    for i in range(0,len(array)):
        ax=plt.subplot(30,8,1+i)
        ax.imshow(images[array[i]],cmap='binary')
        title="label="+str(labels[array[i]])+",prediction="+str(prediction[array[i]])
        ax.set_title(title,fontsize=12)
        ax.set_xticks([])
        ax.set_yticks([])
    plt.show()
    print("預測錯誤的一共有"+str(len(array))+"個")

執行

show_wrong(x_Test,y_Test,prediction)

由於一共有240個圖形是被預測錯誤的，篇幅較長，所以只截了最後的一小部分圖

另外，我們還可以建立一個混淆矩陣來統計檢視什麼數字的預測準確率最高，哪些數字最容易被預測錯誤。 這裡用pandas建立一個混淆矩陣

import pandas as pd
pd.crosstab(y_test_label,prediction,rownames=['lable'],colnames=['prediction'])

執行結果

根據經驗，可以看出多層感知器模型識別的準確率不是很高，只有0.9768，要想提高準確率，還可以增加隱藏層神經元的個數，但是這樣做會增加訓練的時間，並且效率也很低，本人試過把隱藏層的神經元個數增加到1000個，準確率是0.9779，或者再增加一個隱藏層，得到的準確率是0.9797。如果想進一步提高準確率，就應該使用卷積神經網路了。