BP神經網路的設計例項(MATLAB程式設計) .
阿新 • • 發佈：2019-01-03
例1 採用動量梯度下降演算法訓練 BP 網路。
訓練樣本定義如下：
輸入向量為
p =[-1 -2 3 1
-1 1 5 -3]
目標向量為 t = [-1 -1 1 1]
解：本例的 MATLAB 程式如下：
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經網路
% TRAIN——對 BP 神經網路進行訓練
% SIM——對 BP 神經網路進行模擬
pause
% 敲任意鍵開始
clc
% 定義訓練樣本
% P 為輸入向量
P=[-1, -2, 3, 1; -1, 1, 5, -3];
% T 為目標向量
T=[-1, -1, 1, 1];
pause;
clc
% 建立一個新的前向神經網路
net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm')
% 當前輸入層權值和閾值
inputWeights=net.IW{1,1}
inputbias=net.b{1}
% 當前網路層權值和閾值
layerWeights=net.LW{2,1}
layerbias=net.b{2}
pause
clc
% 設定訓練引數
net.trainParam.show = 50;
net.trainParam.lr = 0.05;
net.trainParam.mc = 0.9;
net.trainParam.epochs = 1000;
net.trainParam.goal = 1e-3;
pause
clc
% 呼叫 TRAINGDM 演算法訓練 BP 網路
[net,tr]=train(net,P,T);
pause
clc
% 對 BP 網路進行模擬
A = sim(net,P)
% 計算模擬誤差
E = T - A
MSE=mse(E)
pause
clc
echo off
例2 採用貝葉斯正則化演算法提高 BP 網路的推廣能力。在本例中，我們採用兩種訓練方法，即 L-M 優化演算法（trainlm）和貝葉斯正則化演算法（trainbr），用以訓練 BP 網路，使其能夠擬合某一附加有白噪聲的正弦樣本資料。其中，樣本資料可以採用如下MATLAB 語句生成：
輸入向量：P = [-1:0.05:1]；
目標向量：randn(’seed’,78341223)；
T = sin(2*pi*P)+0.1*randn(size(P))；
解：本例的 MATLAB 程式如下：
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經網路
% TRAIN——對 BP 神經網路進行訓練
% SIM——對 BP 神經網路進行模擬
pause
% 敲任意鍵開始
clc
% 定義訓練樣本向量
% P 為輸入向量
P = [-1:0.05:1];
% T 為目標向量
randn('seed',78341223); T = sin(2*pi*P)+0.1*randn(size(P));
% 繪製樣本資料點
plot(P,T,'+');
echo off
hold on;
plot(P,sin(2*pi*P),':');
% 繪製不含噪聲的正弦曲線
echo on
clc
pause
clc
% 建立一個新的前向神經網路
net=newff(minmax(P),[20,1],{'tansig','purelin'});
pause
clc
echo off
clc
disp('1. L-M 優化演算法 TRAINLM'); disp('2. 貝葉斯正則化演算法 TRAINBR');
choice=input('請選擇訓練演算法(1,2):');
figure(gcf);
if(choice==1)
echo on
clc
% 採用 L-M 優化演算法 TRAINLM
net.trainFcn='trainlm';
pause
clc
% 設定訓練引數
net.trainParam.epochs = 500;
net.trainParam.goal = 1e-6;
net=init(net);
% 重新初始化
pause
clc
elseif(choice==2)
echo on
clc
% 採用貝葉斯正則化演算法 TRAINBR
net.trainFcn='trainbr';
pause
clc
% 設定訓練引數
net.trainParam.epochs = 500;
randn('seed',192736547);
net = init(net);
% 重新初始化
pause
clc
end
% 呼叫相應演算法訓練 BP 網路
[net,tr]=train(net,P,T);
pause
clc
% 對 BP 網路進行模擬
A = sim(net,P);
% 計算模擬誤差
E = T - A;
MSE=mse(E)
pause
clc
% 繪製匹配結果曲線
close all;
plot(P,A,P,T,'+',P,sin(2*pi*P),':');
pause;
clc
echo off
通過採用兩種不同的訓練演算法，我們可以得到如圖 1和圖 2所示的兩種擬合結果。圖中的實線表示擬合曲線，虛線代表不含白噪聲的正弦曲線，“＋”點為含有白噪聲的正弦樣本資料點。顯然，經 trainlm 函式訓練後的神經網路對樣本資料點實現了“過度匹配”，而經 trainbr 函式訓練的神經網路對噪聲不敏感，具有較好的推廣能力。
值得指出的是，在利用 trainbr 函式訓練 BP 網路時，若訓練結果收斂，通常會給出提示資訊“Maximum MU reached”。此外，使用者還可以根據 SSE 和 SSW 的大小變化情況來判斷訓練是否收斂：當 SSE 和 SSW 的值在經過若干步迭代後處於恆值時，則通常說明網路訓練收斂，此時可以停止訓練。觀察trainbr 函式訓練 BP 網路的誤差變化曲線,可見，當訓練迭代至 320 步時，網路訓練收斂，此時 SSE 和 SSW 均為恆值，當前有效網路的引數（有效權值和閾值）個數為 11.7973。
例3 採用“提前停止”方法提高 BP 網路的推廣能力。對於和例 2相同的問題，在本例中我們將採用訓練函式 traingdx 和“提前停止”相結合的方法來訓練 BP 網路，以提高 BP 網路的推廣能力。
解：在利用“提前停止”方法時，首先應分別定義訓練樣本、驗證樣本或測試樣本，其中，驗證樣本是必不可少的。在本例中，我們只定義並使用驗證樣本，即有
驗證樣本輸入向量：val.P = [-0.975:.05:0.975]
驗證樣本目標向量：val.T = sin(2*pi*val.P)+0.1*randn(size(val.P))
值得注意的是，儘管“提前停止”方法可以和任何一種 BP 網路訓練函式一起使用，但是不適合同訓練速度過快的演算法聯合使用，比如 trainlm 函式，所以本例中我們採用訓練速度相對較慢的變學習速率演算法 traingdx 函式作為訓練函式。
本例的 MATLAB 程式如下：
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經網路
% TRAIN——對 BP 神經網路進行訓練
% SIM——對 BP 神經網路進行模擬
pause
% 敲任意鍵開始
clc
% 定義訓練樣本向量
% P 為輸入向量
P = [-1:0.05:1];
% T 為目標向量
randn('seed',78341223);
T = sin(2*pi*P)+0.1*randn(size(P));
% 繪製訓練樣本資料點
plot(P,T,'+');
echo off
hold on;
plot(P,sin(2*pi*P),':'); % 繪製不含噪聲的正弦曲線
echo on
clc
pause
clc
% 定義驗證樣本
val.P = [-0.975:0.05:0.975]; % 驗證樣本的輸入向量
val.T = sin(2*pi*val.P)+0.1*randn(size(val.P)); % 驗證樣本的目標向量
pause
clc
% 建立一個新的前向神經網路
net=newff(minmax(P),[5,1],{'tansig','purelin'},'traingdx');
pause
clc
% 設定訓練引數
net.trainParam.epochs = 500;
net = init(net);
pause
clc
% 訓練 BP 網路
[net,tr]=train(net,P,T,[],[],val);
pause
clc
% 對 BP 網路進行模擬
A = sim(net,P);
% 計算模擬誤差
E = T - A;
MSE=mse(E)
pause
clc
% 繪製模擬擬合結果曲線
close all;
plot(P,A,P,T,'+',P,sin(2*pi*P),':');
pause;
clc
echo off
下面給出了網路的某次訓練結果，可見，當訓練至第 136 步時，訓練提前停止，此時的網路誤差為 0.0102565。給出了訓練後的模擬資料擬合曲線，效果是相當滿意的。
[net,tr]=train(net,P,T,[],[],val);
TRAINGDX, Epoch 0/500, MSE 0.504647/0, Gradient 2.1201/1e-006
TRAINGDX, Epoch 25/500, MSE 0.163593/0, Gradient 0.384793/1e-006
TRAINGDX, Epoch 50/500, MSE 0.130259/0, Gradient 0.158209/1e-006
TRAINGDX, Epoch 75/500, MSE 0.086869/0, Gradient 0.0883479/1e-006
TRAINGDX, Epoch 100/500, MSE 0.0492511/0, Gradient 0.0387894/1e-006
TRAINGDX, Epoch 125/500, MSE 0.0110016/0, Gradient 0.017242/1e-006
TRAINGDX, Epoch 136/500, MSE 0.0102565/0, Gradient 0.01203/1e-006
TRAINGDX, Validation stop.
例3 用BP網路估計膽固醇含量
這是一個將神經網路用於醫療應用的例子。我們設計一個器械，用於從血樣的光譜組成的測量中得到血清的
膽固醇含量級別，我們有261個病人的血樣值，包括21種波長的譜線的資料，對於這些病人，我們得到了基於 光譜分類的膽固醇含量級別hdl,ldl,vldl。
(1) 樣本資料的定義與預處理。
choles_all.mat 檔案中儲存了網路訓練所需要的全部樣本資料。
利用 load 函式可以在工作空間中自動載入網路訓練所需的輸入資料 p 和目標資料 t，即
load choles_all
sizeofp = size (p)
sizeofp = 21 264
sizeoft = size (t)
sizeoft = 3 264
可見，樣本集的大小為 264。為了提高神經網路的訓練效率，通常要對樣本資料作適當的預處理。首先，利用 prestd 函式對樣本資料作歸一化處理，使得歸一化後的輸入和目標資料均服從正態分佈，即 [pn,meanp,stdp,tn,meant,stdt] = prestd(p,t);
然後，利用 prepca 函式對歸一化後的樣本資料進行主元分析，從而消除樣本資料中的冗餘成份，起到資料降維的目的。
[ptrans,transMat] = prepca(pn,0.001);
[R,Q] = size(ptrans)
R = 4 Q = 264
可見，主元分析之後的樣本資料維數被大大降低，輸入資料的維數由 21 變為 4。
(2) 對訓練樣本、驗證樣本和測試樣本進行劃分。
為了提高網路的推廣能力和識別能力，訓練中採用“提前停止”的方法，因此，在訓練之前，需要將上面處理後的樣本資料適當劃分為訓練樣本集、驗證樣本集和測試樣本集。
(3) 網路生成與訓練。 選用兩層 BP 網路，其中網路輸入維數為 4，輸出維數為 3，輸出值即為血清膽固醇的三個指標值大小。網路中間層神經元數目預選為 5，傳遞函式型別選為 tansig 函式，輸出層傳遞函式選為線性函式 purelin，訓練函式設為 trainlm。網路的生成語句如下：
net = newff(minmax(ptr),[5 3],{'tansig' 'purelin'},'trainlm');
利用 train 函式對所生成的神經網路進行訓練，訓練結果如下：
[net,tr]=train(net,ptr,ttr,[],[],val,test);
見，網路訓練迭代至第 20 步時提前停止，這是由於驗證誤差已經開始變大。利用下面語句可以繪製出訓練誤差、驗證誤差和測試誤差的變化曲線，如圖 4.50 所示。由圖可見，驗證誤差和測試誤差的變化趨勢基本一致，說明樣本集的劃分基本合理。由訓練誤差曲線可見，訓練誤差結果也是比較滿意的。
(4) 網路模擬。 為了進一步檢驗訓練後網路的效能，下面對訓練結果作進一步模擬分析。利用 postreg函式可以對網路模擬的輸出結果和目標輸出作線性迴歸分析，並得到兩者的相關係數，從而可以作為網路訓練結果優劣的判別依據。模擬與線性迴歸分析如下：
an = sim(net,ptrans);
a = poststd(an,meant,stdt);
for i=1:3
figure(i)
[m(i),b(i),r(i)] = postreg(a(i,:),t(i,:));
end
%匯入原始測量資料
load choles_all;
%對原始資料進行規範化處理,prestd是對輸入資料和輸出資料進行規範化處理，
%prepca可以刪除一些資料，適當地保留了變化不小於0.01的資料
[pn,meanp,stdp,tn,meant,stdt]=prestd(p,t);
[ptrans,transMat]=prepca(pn,0.001);
[R,Q]=size(ptrans)
%將原始資料分成幾個部分作為不同用途四分已用於確證，四分一用於測試，二分一用於訓練網路
iitst=2:4:Q;
iival=4:4:Q;
iitr=[1:4:Q 3:4:Q];
%vv是確證向量，.P是輸入，.T是輸出，vt是測試向量
vv.P=ptrans(:,iival);
vv.T=tn(:,iival);
vt.P=ptrans(:,iitst);
vt.T=tn(:,iitst);
ptr=ptrans(:,iitr);
ttr=tn(:,iitr);
%建立網路，隱層中設計5個神經元，由於需要得到的是3個目標，所以網路需要有3個輸出
net=newff(minmax(ptr),[5 3],{'tansig' 'purelin'},'trainlm');
%訓練網路
net.trainParam.show=5;
[net,tr]=train(net,ptr,ttr,[],[],vv,vt);
%繪出訓練過程中各誤差的變化曲線
plot(tr.epoch,tr.perf,'r',tr.epoch,tr.vperf,':g',tr.epoch,tr.tperf,'-.b');
legend('訓練','確證','測試',-1);
ylabel('平方誤差');
xlabel('時間');
pause;
%將所有資料通過網路（包括訓練，確證，測試），然後得到網路輸出和相應目標進行線性迴歸，
%對網路輸出進行反規範化變換，並繪出個各級別的線性迴歸結果曲線
an=sim(net,ptrans);
a=poststd(an,meant,stdt);
%得到3組輸出，所以進行3次線性迴歸
for i=1:3
figure(i)
[m(i),b(i),r(i)] = postreg(a(i,:),t(i,:));
end
網路輸出資料和目標資料作線性迴歸後，前面兩個輸出對目標的跟蹤比較好，相應的R值接近0.9。而第三個輸出卻並不理想，我們很可能需要在這點上做更多工作。可能需要使用其它的網路結構（使用更多的隱層神經元），或者是在訓練技術上使用貝頁斯規範華而不實使用早停的方法。
把隱層數目改為20個時，網路訓練的3種誤差非常接近，得到的結果R也相應提高。但不代表神經元越多就越精確。
多層神經網路能夠對任意的線性或者非線性函式進行逼近，其精度也是任意的。但是BP網路不一定能找到解。訓練時，學習速率太快可能引起不穩定，太慢則要花費太多時間，不同的訓練演算法也對網路的效能有很大影響。BP網路對隱層的神經元數目也是很敏感的，太少則很難適應，太多則可能設計出超適應網路。
訓練樣本定義如下：
輸入向量為
p =[-1 -2 3 1
-1 1 5 -3]
目標向量為 t = [-1 -1 1 1]
解：本例的 MATLAB 程式如下：
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經網路
% TRAIN——對 BP 神經網路進行訓練
% SIM——對 BP 神經網路進行模擬
pause
% 敲任意鍵開始
clc
% 定義訓練樣本
% P 為輸入向量
P=[-1, -2, 3, 1; -1, 1, 5, -3];
% T 為目標向量
T=[-1, -1, 1, 1];
pause;
clc
% 建立一個新的前向神經網路
net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm')
% 當前輸入層權值和閾值
inputWeights=net.IW{1,1}
inputbias=net.b{1}
% 當前網路層權值和閾值
layerWeights=net.LW{2,1}
layerbias=net.b{2}
pause
clc
% 設定訓練引數
net.trainParam.show = 50;
net.trainParam.lr = 0.05;
net.trainParam.mc = 0.9;
net.trainParam.epochs = 1000;
net.trainParam.goal = 1e-3;
pause
clc
% 呼叫 TRAINGDM 演算法訓練 BP 網路
[net,tr]=train(net,P,T);
pause
clc
% 對 BP 網路進行模擬
A = sim(net,P)
% 計算模擬誤差
E = T - A
MSE=mse(E)
pause
clc
echo off
例2 採用貝葉斯正則化演算法提高 BP 網路的推廣能力。在本例中，我們採用兩種訓練方法，即 L-M 優化演算法（trainlm）和貝葉斯正則化演算法（trainbr），用以訓練 BP 網路，使其能夠擬合某一附加有白噪聲的正弦樣本資料。其中，樣本資料可以採用如下MATLAB 語句生成：
輸入向量：P = [-1:0.05:1]；
目標向量：randn(’seed’,78341223)；
T = sin(2*pi*P)+0.1*randn(size(P))；
解：本例的 MATLAB 程式如下：
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經網路
% TRAIN——對 BP 神經網路進行訓練
% SIM——對 BP 神經網路進行模擬
pause
% 敲任意鍵開始
clc
% 定義訓練樣本向量
% P 為輸入向量
P = [-1:0.05:1];
% T 為目標向量
randn('seed',78341223); T = sin(2*pi*P)+0.1*randn(size(P));
% 繪製樣本資料點
plot(P,T,'+');
echo off
hold on;
plot(P,sin(2*pi*P),':');
% 繪製不含噪聲的正弦曲線
echo on
clc
pause
clc
% 建立一個新的前向神經網路
net=newff(minmax(P),[20,1],{'tansig','purelin'});
pause
clc
echo off
clc
disp('1. L-M 優化演算法 TRAINLM'); disp('2. 貝葉斯正則化演算法 TRAINBR');
choice=input('請選擇訓練演算法(1,2):');
figure(gcf);
if(choice==1)
echo on
clc
% 採用 L-M 優化演算法 TRAINLM
net.trainFcn='trainlm';
pause
clc
% 設定訓練引數
net.trainParam.epochs = 500;
net.trainParam.goal = 1e-6;
net=init(net);
% 重新初始化
pause
clc
elseif(choice==2)
echo on
clc
% 採用貝葉斯正則化演算法 TRAINBR
net.trainFcn='trainbr';
pause
clc
% 設定訓練引數
net.trainParam.epochs = 500;
randn('seed',192736547);
net = init(net);
% 重新初始化
pause
clc
end
% 呼叫相應演算法訓練 BP 網路
[net,tr]=train(net,P,T);
pause
clc
% 對 BP 網路進行模擬
A = sim(net,P);
% 計算模擬誤差
E = T - A;
MSE=mse(E)
pause
clc
% 繪製匹配結果曲線
close all;
plot(P,A,P,T,'+',P,sin(2*pi*P),':');
pause;
clc
echo off
通過採用兩種不同的訓練演算法，我們可以得到如圖 1和圖 2所示的兩種擬合結果。圖中的實線表示擬合曲線，虛線代表不含白噪聲的正弦曲線，“＋”點為含有白噪聲的正弦樣本資料點。顯然，經 trainlm 函式訓練後的神經網路對樣本資料點實現了“過度匹配”，而經 trainbr 函式訓練的神經網路對噪聲不敏感，具有較好的推廣能力。
值得指出的是，在利用 trainbr 函式訓練 BP 網路時，若訓練結果收斂，通常會給出提示資訊“Maximum MU reached”。此外，使用者還可以根據 SSE 和 SSW 的大小變化情況來判斷訓練是否收斂：當 SSE 和 SSW 的值在經過若干步迭代後處於恆值時，則通常說明網路訓練收斂，此時可以停止訓練。觀察trainbr 函式訓練 BP 網路的誤差變化曲線,可見，當訓練迭代至 320 步時，網路訓練收斂，此時 SSE 和 SSW 均為恆值，當前有效網路的引數（有效權值和閾值）個數為 11.7973。
例3 採用“提前停止”方法提高 BP 網路的推廣能力。對於和例 2相同的問題，在本例中我們將採用訓練函式 traingdx 和“提前停止”相結合的方法來訓練 BP 網路，以提高 BP 網路的推廣能力。
解：在利用“提前停止”方法時，首先應分別定義訓練樣本、驗證樣本或測試樣本，其中，驗證樣本是必不可少的。在本例中，我們只定義並使用驗證樣本，即有
驗證樣本輸入向量：val.P = [-0.975:.05:0.975]
驗證樣本目標向量：val.T = sin(2*pi*val.P)+0.1*randn(size(val.P))
值得注意的是，儘管“提前停止”方法可以和任何一種 BP 網路訓練函式一起使用，但是不適合同訓練速度過快的演算法聯合使用，比如 trainlm 函式，所以本例中我們採用訓練速度相對較慢的變學習速率演算法 traingdx 函式作為訓練函式。
本例的 MATLAB 程式如下：
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經網路
% TRAIN——對 BP 神經網路進行訓練
% SIM——對 BP 神經網路進行模擬
pause
% 敲任意鍵開始
clc
% 定義訓練樣本向量
% P 為輸入向量
P = [-1:0.05:1];
% T 為目標向量
randn('seed',78341223);
T = sin(2*pi*P)+0.1*randn(size(P));
% 繪製訓練樣本資料點
plot(P,T,'+');
echo off
hold on;
plot(P,sin(2*pi*P),':'); % 繪製不含噪聲的正弦曲線
echo on
clc
pause
clc
% 定義驗證樣本
val.P = [-0.975:0.05:0.975]; % 驗證樣本的輸入向量
val.T = sin(2*pi*val.P)+0.1*randn(size(val.P)); % 驗證樣本的目標向量
pause
clc
% 建立一個新的前向神經網路
net=newff(minmax(P),[5,1],{'tansig','purelin'},'traingdx');
pause
clc
% 設定訓練引數
net.trainParam.epochs = 500;
net = init(net);
pause
clc
% 訓練 BP 網路
[net,tr]=train(net,P,T,[],[],val);
pause
clc
% 對 BP 網路進行模擬
A = sim(net,P);
% 計算模擬誤差
E = T - A;
MSE=mse(E)
pause
clc
% 繪製模擬擬合結果曲線
close all;
plot(P,A,P,T,'+',P,sin(2*pi*P),':');
pause;
clc
echo off
下面給出了網路的某次訓練結果，可見，當訓練至第 136 步時，訓練提前停止，此時的網路誤差為 0.0102565。給出了訓練後的模擬資料擬合曲線，效果是相當滿意的。
[net,tr]=train(net,P,T,[],[],val);
TRAINGDX, Epoch 0/500, MSE 0.504647/0, Gradient 2.1201/1e-006
TRAINGDX, Epoch 25/500, MSE 0.163593/0, Gradient 0.384793/1e-006
TRAINGDX, Epoch 50/500, MSE 0.130259/0, Gradient 0.158209/1e-006
TRAINGDX, Epoch 75/500, MSE 0.086869/0, Gradient 0.0883479/1e-006
TRAINGDX, Epoch 100/500, MSE 0.0492511/0, Gradient 0.0387894/1e-006
TRAINGDX, Epoch 125/500, MSE 0.0110016/0, Gradient 0.017242/1e-006
TRAINGDX, Epoch 136/500, MSE 0.0102565/0, Gradient 0.01203/1e-006
TRAINGDX, Validation stop.
例3 用BP網路估計膽固醇含量
這是一個將神經網路用於醫療應用的例子。我們設計一個器械，用於從血樣的光譜組成的測量中得到血清的
膽固醇含量級別，我們有261個病人的血樣值，包括21種波長的譜線的資料，對於這些病人，我們得到了基於 光譜分類的膽固醇含量級別hdl,ldl,vldl。
(1) 樣本資料的定義與預處理。
choles_all.mat 檔案中儲存了網路訓練所需要的全部樣本資料。
利用 load 函式可以在工作空間中自動載入網路訓練所需的輸入資料 p 和目標資料 t，即
load choles_all
sizeofp = size (p)
sizeofp = 21 264
sizeoft = size (t)
sizeoft = 3 264
可見，樣本集的大小為 264。為了提高神經網路的訓練效率，通常要對樣本資料作適當的預處理。首先，利用 prestd 函式對樣本資料作歸一化處理，使得歸一化後的輸入和目標資料均服從正態分佈，即 [pn,meanp,stdp,tn,meant,stdt] = prestd(p,t);
然後，利用 prepca 函式對歸一化後的樣本資料進行主元分析，從而消除樣本資料中的冗餘成份，起到資料降維的目的。
[ptrans,transMat] = prepca(pn,0.001);
[R,Q] = size(ptrans)
R = 4 Q = 264
可見，主元分析之後的樣本資料維數被大大降低，輸入資料的維數由 21 變為 4。
(2) 對訓練樣本、驗證樣本和測試樣本進行劃分。
為了提高網路的推廣能力和識別能力，訓練中採用“提前停止”的方法，因此，在訓練之前，需要將上面處理後的樣本資料適當劃分為訓練樣本集、驗證樣本集和測試樣本集。
(3) 網路生成與訓練。 選用兩層 BP 網路，其中網路輸入維數為 4，輸出維數為 3，輸出值即為血清膽固醇的三個指標值大小。網路中間層神經元數目預選為 5，傳遞函式型別選為 tansig 函式，輸出層傳遞函式選為線性函式 purelin，訓練函式設為 trainlm。網路的生成語句如下：
net = newff(minmax(ptr),[5 3],{'tansig' 'purelin'},'trainlm');
利用 train 函式對所生成的神經網路進行訓練，訓練結果如下：
[net,tr]=train(net,ptr,ttr,[],[],val,test);
見，網路訓練迭代至第 20 步時提前停止，這是由於驗證誤差已經開始變大。利用下面語句可以繪製出訓練誤差、驗證誤差和測試誤差的變化曲線，如圖 4.50 所示。由圖可見，驗證誤差和測試誤差的變化趨勢基本一致，說明樣本集的劃分基本合理。由訓練誤差曲線可見，訓練誤差結果也是比較滿意的。
(4) 網路模擬。 為了進一步檢驗訓練後網路的效能，下面對訓練結果作進一步模擬分析。利用 postreg函式可以對網路模擬的輸出結果和目標輸出作線性迴歸分析，並得到兩者的相關係數，從而可以作為網路訓練結果優劣的判別依據。模擬與線性迴歸分析如下：
an = sim(net,ptrans);
a = poststd(an,meant,stdt);
for i=1:3
figure(i)
[m(i),b(i),r(i)] = postreg(a(i,:),t(i,:));
end
%匯入原始測量資料
load choles_all;
%對原始資料進行規範化處理,prestd是對輸入資料和輸出資料進行規範化處理，
%prepca可以刪除一些資料，適當地保留了變化不小於0.01的資料
[pn,meanp,stdp,tn,meant,stdt]=prestd(p,t);
[ptrans,transMat]=prepca(pn,0.001);
[R,Q]=size(ptrans)
%將原始資料分成幾個部分作為不同用途四分已用於確證，四分一用於測試，二分一用於訓練網路
iitst=2:4:Q;
iival=4:4:Q;
iitr=[1:4:Q 3:4:Q];
%vv是確證向量，.P是輸入，.T是輸出，vt是測試向量
vv.P=ptrans(:,iival);
vv.T=tn(:,iival);
vt.P=ptrans(:,iitst);
vt.T=tn(:,iitst);
ptr=ptrans(:,iitr);
ttr=tn(:,iitr);
%建立網路，隱層中設計5個神經元，由於需要得到的是3個目標，所以網路需要有3個輸出
net=newff(minmax(ptr),[5 3],{'tansig' 'purelin'},'trainlm');
%訓練網路
net.trainParam.show=5;
[net,tr]=train(net,ptr,ttr,[],[],vv,vt);
%繪出訓練過程中各誤差的變化曲線
plot(tr.epoch,tr.perf,'r',tr.epoch,tr.vperf,':g',tr.epoch,tr.tperf,'-.b');
legend('訓練','確證','測試',-1);
ylabel('平方誤差');
xlabel('時間');
pause;
%將所有資料通過網路（包括訓練，確證，測試），然後得到網路輸出和相應目標進行線性迴歸，
%對網路輸出進行反規範化變換，並繪出個各級別的線性迴歸結果曲線
an=sim(net,ptrans);
a=poststd(an,meant,stdt);
%得到3組輸出，所以進行3次線性迴歸
for i=1:3
figure(i)
[m(i),b(i),r(i)] = postreg(a(i,:),t(i,:));
end
網路輸出資料和目標資料作線性迴歸後，前面兩個輸出對目標的跟蹤比較好，相應的R值接近0.9。而第三個輸出卻並不理想，我們很可能需要在這點上做更多工作。可能需要使用其它的網路結構（使用更多的隱層神經元），或者是在訓練技術上使用貝頁斯規範華而不實使用早停的方法。
把隱層數目改為20個時，網路訓練的3種誤差非常接近，得到的結果R也相應提高。但不代表神經元越多就越精確。
多層神經網路能夠對任意的線性或者非線性函式進行逼近，其精度也是任意的。但是BP網路不一定能找到解。訓練時，學習速率太快可能引起不穩定，太慢則要花費太多時間，不同的訓練演算法也對網路的效能有很大影響。BP網路對隱層的神經元數目也是很敏感的，太少則很難適應，太多則可能設計出超適應網路。