Keras入門(二)模型的儲存、讀取及載入
本文將會介紹如何利用Keras來實現模型的儲存、讀取以及載入。
本文使用的模型為解決IRIS資料集的多分類問題而設計的深度神經網路(DNN)模型,模型的結構示意圖如下:
具體的模型引數可以參考文章: ofollow,noindex" target="_blank">Keras入門(一)搭建深度神經網路(DNN)解決多分類問題 。
模型儲存
Keras使用HDF5檔案系統來儲存模型。模型儲存的方法很容易,只需要使用save()方法即可。
以 Keras入門(一)搭建深度神經網路(DNN)解決多分類問題 中的DNN模型為例,整個模型的變數為model,我們設定模型共訓練10次,在原先的程式碼中加入Python程式碼即可儲存模型:
# save model print("Saving model to disk \n") mp = "E://logs/iris_model.h5" model.save(mp)
儲存的模型檔案(iris_model.h5)如下:
Line"/>
模型讀取
儲存後的iris_model.h5以HDF5檔案系統的形式儲存,在我們使用Python讀取h5檔案裡面的資料之前,我們先用HDF5的視覺化工具HDFView來檢視裡面的資料:
我們感興趣的是這個模型中的各個神經層之間的連線權重及偏重,也就是上圖中的紅色部分,model_weights裡面包含了各個神經層之間的連線權重及偏重,分別位於dense_1,dense_2,dense_3中。藍色部分為dense_3/dense_3/kernel:0的資料,即最後輸出層的連線權重矩陣。
有了對模型引數的直觀認識,我們要做的下一步工作就是讀取各個神經層之間的連線權重及偏重。我們使用Python的h5py這個模組來這個iris_model.h5這個檔案。關於h5py的快速入門指南,可以參考文章: h5py快速入門指南 。
使用以下Python程式碼可以讀取各個神經層之間的連線權重及偏重資料:
import h5py # 模型地址 MODEL_PATH = 'E://logs/iris_model.h5' # 獲取每一層的連線權重及偏重 print("讀取模型中...") with h5py.File(MODEL_PATH, 'r') as f: dense_1 = f['/model_weights/dense_1/dense_1'] dense_1_bias =dense_1['bias:0'][:] dense_1_kernel = dense_1['kernel:0'][:] dense_2 = f['/model_weights/dense_2/dense_2'] dense_2_bias = dense_2['bias:0'][:] dense_2_kernel = dense_2['kernel:0'][:] dense_3 = f['/model_weights/dense_3/dense_3'] dense_3_bias = dense_3['bias:0'][:] dense_3_kernel = dense_3['kernel:0'][:] print("第一層的連線權重矩陣:\n%s\n"%dense_1_kernel) print("第一層的連線偏重矩陣:\n%s\n"%dense_1_bias) print("第二層的連線權重矩陣:\n%s\n"%dense_2_kernel) print("第二層的連線偏重矩陣:\n%s\n"%dense_2_bias) print("第三層的連線權重矩陣:\n%s\n"%dense_3_kernel) print("第三層的連線偏重矩陣:\n%s\n"%dense_3_bias)
輸出的結果如下:
讀取模型中... 第一層的連線權重矩陣: [[ 0.041416770.03080632 -0.027681460.143343570.06242227] [-0.41209617 -0.779484870.5648218-0.699587-0.19246106] [ 0.68563150.28241938 -0.91930366 -0.079898180.47165248] [ 0.86552620.721757530.36529952 -0.531721350.26573092]] 第一層的連線偏重矩陣: [-0.16441862 -0.02462054 -0.140603210.-0.14293939] 第二層的連線權重矩陣: [[ 0.392966030.018647070.125380830.079358720.27940807 -0.4565802 ] [-0.343120840.6446907-0.92546445 -0.005380390.95466876 -0.32819661] [-0.7593299-0.072270570.207513650.405471060.357267530.8884158 ] [-0.480960.11294878 -0.29462305 -0.410536-0.23620337 -0.72703975] [ 0.7666149-0.417209240.29576775 -0.63280170.431185360.6589351 ]] 第二層的連線偏重矩陣: [-0.18995690.-0.09710662 -0.12964155 -0.264431570.6050924 ] 第三層的連線權重矩陣: [[-0.444505420.099771010.12196152] [ 0.143343570.18546402 -0.23861367] [-0.72841910.7859063-0.878823] [ 0.08765450.515319470.09671918] [-0.7964963-0.164356870.49531657] [ 0.86456980.44398730.24599855]] 第三層的連線偏重矩陣: [ 0.39192322 -0.1266532-0.29631865]
值得注意的是,我們得到的這些矩陣的資料型別都是numpy.ndarray。
OK,既然我們已經得到了各個神經層之間的連線權重及偏重的資料,那我們能做什麼呢?當然是去做一些有趣的事啦,那就是用我們自己的方法來實現新資料的預測向量(softmax函式作用後的向量)。so, really?
新的輸入向量為[6.1, 3.1, 5.1, 1.1],使用以下Python程式碼即可輸出新資料的預測向量:
import h5py import numpy as np # 模型地址 MODEL_PATH = 'E://logs/iris_model.h5' # 獲取每一層的連線權重及偏重 print("讀取模型中...") with h5py.File(MODEL_PATH, 'r') as f: dense_1 = f['/model_weights/dense_1/dense_1'] dense_1_bias =dense_1['bias:0'][:] dense_1_kernel = dense_1['kernel:0'][:] dense_2 = f['/model_weights/dense_2/dense_2'] dense_2_bias = dense_2['bias:0'][:] dense_2_kernel = dense_2['kernel:0'][:] dense_3 = f['/model_weights/dense_3/dense_3'] dense_3_bias = dense_3['bias:0'][:] dense_3_kernel = dense_3['kernel:0'][:] # 模擬每個神經層的計算,得到該層的輸出 def layer_output(input, kernel, bias): return np.dot(input, kernel) + bias # 實現ReLU函式 relu = np.vectorize(lambda x: x if x >=0 else 0) # 實現softmax函式 def softmax_func(arr): exp_arr = np.exp(arr) arr_sum = np.sum(exp_arr) softmax_arr = exp_arr/arr_sum return softmax_arr # 輸入向量 unkown = np.array([[6.1, 3.1, 5.1, 1.1]], dtype=np.float32) # 第一層的輸出 print("模型計算中...") output_1 = layer_output(unkown, dense_1_kernel, dense_1_bias) output_1 = relu(output_1) # 第二層的輸出 output_2 = layer_output(output_1, dense_2_kernel, dense_2_bias) output_2 = relu(output_2) # 第三層的輸出 output_3 = layer_output(output_2, dense_3_kernel, dense_3_bias) output_3 = softmax_func(output_3) # 最終的輸出的softmax值 np.set_printoptions(precision=4) print("最終的預測值向量為: %s"%output_3)
其輸出的結果如下:
讀取模型中... 模型計算中... 最終的預測值向量為: [[0.0242 0.6763 0.2995]]
額,這個輸出的預測值向量會是我們的DNN模型的預測值向量嗎?這時候,我們就需要回過頭來看看 Keras入門(一)搭建深度神經網路(DNN)解決多分類問題 中的程式碼了,注意,為了保證數值的可比較性,筆者已經將DNN模型的訓練次數改為10次了。讓我們來看看原來程式碼的輸出結果吧:
Using model to predict species for features: [[6.1 3.1 5.1 1.1]] Predicted softmax vector is: [[0.0242 0.6763 0.2995]] Predicted species is: Iris-versicolor
Yes,兩者的預測值向量完全一致!因此,我們用自己的方法也實現了這個DNN模型的預測功能,棒!
模型載入
當然,在實際的使用中,我們不需要再用自己的方法來實現模型的預測功能,只需使用Keras給我們提供好的模型匯入功能(keras.models.load_model())即可。使用以下Python程式碼即可載入模型
# 模型的載入及使用 from keras.models import load_model print("Using loaded model to predict...") load_model = load_model("E://logs/iris_model.h5") np.set_printoptions(precision=4) unknown = np.array([[6.1, 3.1, 5.1, 1.1]], dtype=np.float32) predicted = load_model.predict(unknown) print("Using model to predict species for features: ") print(unknown) print("\nPredicted softmax vector is: ") print(predicted) species_dict = {v: k for k, v in Class_dict.items()} print("\nPredicted species is: ") print(species_dict[np.argmax(predicted)])
輸出結果如下:
Using loaded model to predict... Using model to predict species for features: [[6.1 3.1 5.1 1.1]] Predicted softmax vector is: [[0.0242 0.6763 0.2995]] Predicted species is: Iris-versicolor
總結
本文主要介紹如何利用Keras來實現模型的儲存、讀取以及載入。
本文將不再給出完整的Python程式碼,如需完整的程式碼,請參考Github地址: https://github.com/percent4/Keras_4_multiclass .