1. 程式人生 > >BP神經網絡(原理及MATLAB實現)

BP神經網絡(原理及MATLAB實現)

gen 性能 oct temp png error alt 交叉驗證 對比

人工神經網絡概述:

技術分享圖片

人工神經元模型:

技術分享圖片

神經網絡的分類:

按照連接方式,可以分為:前向神經網絡 vs. 反饋(遞歸)神經網絡;

按照學習方式,可以分為:有導師學習神經網絡 vs. 無導師學習神經網絡;

按照實現功能,可以分為:擬合(回歸)神經網絡 vs. 分類神經網絡。

技術分享圖片

技術分享圖片

技術分享圖片

數據歸一化:將數據映射到[0, 1]或[-1, 1]區間或其他的區間。

數據歸一化的原因:

1.輸入數據的單位不一樣,有些數據的範圍可能特別大,導致的結果是神經網絡收斂慢、訓練時間長。
2.數據範圍大的輸入在模式分類中的作用可能會偏大,而數據範圍小的輸入作用就可能會偏小。
3.由於神經網絡輸出層的激活函數的值域是有限制的,因此需要將網絡訓練的目標數據映射到激活函數的值域。例如神經網絡的輸出層若采用S形激活


函數,由於S形函數的值域限制在(0,1),也就是說神經網絡的輸出只能限制在(0,1),所以訓練數據的輸出就要歸一化到[0,1]區間。
4.S形激活函數在(0,1)區間以外區域很平緩,區分度太小。例如S形函數f(X)在參數a=1時,f(100)與f(5)只相差0.0067。
歸一化算法:
1.y = ( x - min )/( max - min );
2.y = 2 * ( x - min ) / ( max - min ) - 1。

部分函數:

技術分享圖片

參數對BP神經網絡性能的影響:

隱含層神經元節點個數

激活函數類型的選擇

學習率

初始權值與閾值

交叉驗證

訓練集

測試集

驗證集

留一法

MATLAB實現程序:

 1 %% I. 清空環境變量
 2 clear all
 3 clc
 4 
 5 %% II. 訓練集/測試集產生
 6 %%
 7 % 1. 導入數據
 8 load spectra_data.mat
 9 
10 %%
11 % 2. 隨機產生訓練集和測試集
12 temp = randperm(size(NIR,1));
13 % 訓練集——50個樣本
14 P_train = NIR(temp(1:50),:);
15 T_train = octane(temp(1:50),:);
16 % 測試集——10個樣本
17 P_test = NIR(temp(51:end),:); 18 T_test = octane(temp(51:end),:); 19 N = size(P_test,2); 20 21 %% III. 數據歸一化 22 [p_train, ps_input] = mapminmax(P_train,0,1); 23 p_test = mapminmax(apply,P_test,ps_input); 24 25 [t_train, ps_output] = mapminmax(T_train,0,1); 26 27 %% IV. BP神經網絡創建、訓練及仿真測試 28 %% 29 % 1. 創建網絡 30 net = newff(p_train,t_train,9); 31 32 %% 33 % 2. 設置訓練參數 34 net.trainParam.epochs = 1000; 35 net.trainParam.goal = 1e-3; 36 net.trainParam.lr = 0.01; 37 38 %% 39 % 3. 訓練網絡 40 net = train(net,p_train,t_train); 41 42 %% 43 % 4. 仿真測試 44 t_sim = sim(net,p_test); 45 46 %% 47 % 5. 數據反歸一化 48 T_sim = mapminmax(reverse,t_sim,ps_output); 49 50 %% V. 性能評價 51 %% 52 % 1. 相對誤差error 53 error = abs(T_sim - T_test)./T_test; 54 55 %% 56 % 2. 決定系數R^2 57 R2 = (N * sum(T_sim .* T_test) - sum(T_sim) * sum(T_test))^2 / ((N * sum((T_sim).^2) - (sum(T_sim))^2) * (N * sum((T_test).^2) - (sum(T_test))^2)); 58 59 %% 60 % 3. 結果對比 61 result = [T_test T_sim error] 62 63 %% VI. 繪圖 64 figure 65 plot(1:N,T_test,b:*,1:N,T_sim,r-o) 66 legend(真實值,預測值) 67 xlabel(預測樣本) 68 ylabel(辛烷值) 69 string = {測試集辛烷值含量預測結果對比;[R^2= num2str(R2)]}; 70 title(string)

運行效果截圖:

技術分享圖片

BP神經網絡(原理及MATLAB實現)