本部落格所述BP神經網路，是本人研究總結的結果，希望對您有所幫助，當然，如果有需要，大家可以互相交流。

   設計一個BP神經網路類，來實現一個BP神經網路。要求輸入層節點數、隱層數、隱層節點數、輸出層節點數、傳遞函式、演算法等等可以由使用者自主設定。

神經網路的基本原理

BP（Back Propagation）網路是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式對映關係，而無需事前揭示描述這種對映關係的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP

神經元模型

圖3-1人工神經元的基本構成單元

圖3-1 給出了一個具有n個輸入的基本BP神經元模型結構。圖中每一個輸入被賦予一定的權值，求和後形成神經元傳遞函式的輸入。

啟用函式的作用是對該神經元所獲得的網路輸入進行變換，也可以稱為激勵函式或活化函式，如圖（3-1）所示。BP網路屬於多層網路，其常用的傳遞函式有線性函式（purelin）和sigmoid型函式。

1、線性函式（purelin）

a，b，d為常數。它的飽和值為a和a + b。

函式的飽和值為0和1。S形函式有較好的增益控制性能，如果BP

3.2 BP神經網路結構

圖3-4顯示了一個具有n個輸入，m個輸出的BP神經網路結構。

圖3-4 BP神經網路結的拓撲結構

訊號只被允許從較低層流向較高層。

層號表示層的高低：層號較小者，層次較低，層號較大者，層次較高。

輸入層：被記作第0層。該層負責接收來自網路外部的資訊

第j層：第j-1層的直接後繼層（j>0），它直接接受第j-1層的輸出。

輸出層：它是網路的最後一層，具有該網路的最大層號，負責輸出網路的計算結果。

隱藏層：除輸入層和輸出層以外的其它各層均叫隱藏層。隱藏層不直接接受外界的訊號，也不直接向外界傳送訊號

約定 :

輸出層的層號為該網路的層數：n層網路或n級網路。

第j-1層到第j層的聯接矩陣為第j層聯接矩陣，輸出層對應的矩陣叫輸出層聯接矩陣。今後我們在需要的時候一般用表示第j層矩陣。

前向型神經網路通常具有一個或多個由sigmoid神經元構成的隱層，和一個由線性神經元構成的輸出層。多個具有非線性傳遞函式的神經元層使得網路可以學習輸入和輸出之間的非線性關係，而線性輸出層則使網路可以產生區間[ -1 , 1 ]之外的值。

如果需要對網路輸出的值域加以限制，例如想要將網路輸出值限制在[ 0 , 1 ]以內，那麼輸出層就應該採用sigmoid型函式。

3.3 BP網路學習規則

BP網路的學習是有監督的學習，訓練過程中需要提供輸入向量P和輸出向量T，根據網路誤差效能對網路權值和偏差進行調整，最終實現期望的功能。前向型神經網路仍然採用均方誤差作為預設的網路效能函式，網路學習的過程就是使均方誤差最小化的過程。BP學習規則是使用不同的演算法來實現網路均方誤差的最小化，本文主要闡述五種演算法：基本的BP演算法（traingd）、增加動量項的BP演算法（traingdm）、帶動量及自適應學習速率的BP演算法（traingdx）、共軛梯度演算法（traincgf）、彈性梯度演算法（trainrp）。文件中所有的傳遞函式預設為sigmoid型，但purelin型相對比較簡單，因此使用者可參照本文自行推理。

3.3.1基本的BP演算法（traingd）

基本的BP演算法，是最簡單的BP演算法，也是最基礎的BP演算法。我們知道函式的梯度方向是函式值增加最快的方向，那麼負梯度方向便是函式值減小最快的方向，基本的BP演算法就是沿著負梯度方向通過調整權值來減小均方誤差的，其他的演算法基本都是在BP演算法的基礎上進行改進的。

用輸出層的誤差來調整輸出層的權矩陣，並估計輸出層的直接前導層的誤差，然後再用輸出層的前導層誤差估計更前一層的誤差，如此獲得了所有其它各層的誤差估計。用這些估計實現對權矩陣的修改，形成將輸出端表現出的誤差沿著與輸入訊號相反的方向逐級向輸入端傳遞的過程。這個過程的具體實現如下文所述。

（一）神經元的輸入輸出

神經元的網路輸入：

根據圖（3-1）和式3-4，任意神經元的輸入可表示為

圖3-5 傳遞函式（3-10）

（二）訓練過程概述

樣本：(輸入向量，理想輸出向量)

權初始化：小隨機數與飽和狀態。

Step1, 向前傳播階段：

（1）從樣本集中取一個樣本，將輸入網路；

（2）計算相應的實際輸出：

如果將學習速率設定為可變的，那麼就可以改變學習演算法的效能。具備自適應學習速率的梯度下降演算法可以在保持訓練過程穩定的前提下采用最大的步長。

本程式中採用的方法是通過比較相鄰兩次迭代之間的誤差平方和的大小，來判斷學習速率是增加還是減少。

3.3.5彈性梯度演算法（trainrp）

該演算法是在traingdx演算法的基礎上實現的，也是對BP演算法的進一步改進。多層神經網路通常在隱層中採用sigmoid型傳遞函式。由於sigmoid函式的作用是將無限的輸入範圍壓縮到一個有限的輸出範圍內，因此它們都有這樣一個特性，即輸入樣本變數非常大的時候，函式曲線斜率將會逐漸接近於零。這可能造成的一個問題，即如果採用該演算法進行訓練，梯度值有可能會很小，這樣每一次迭代的權值和偏差的該變數會很小，儘管它們距離最優值還有很遠的距離。

有彈性的BP訓練演算法的目標就是消除由於誤差函式偏微分的數值上變動所造成的不利於訓練的效應。這種演算法只通過偏微分函式符號決定權值的變化方向，而忽略偏微分數值的大小，權值的變化量則由一個獨自更新的數值來決定。

如果在連續兩次迭代中誤差效能函式對某一權值的偏導數的正負號相同，則權值更新值會增大，而如果連續兩次迭代中誤差效能函式對某一權值的偏導數正負號不同，則權值更新值會減小，如果偏導數等於0，則迭代停止。這樣，權值的變動過程是一個幅度逐漸減小的震盪過程，最後收斂到梯度為0的目標點。

4 BP神經網路類的實現

4.1概述

該類是基於BP神經網路的原理，利用c/c++語言在vs2005上實現的一個BP神經網路類，該類當中引數的命名、定義等都是參照matlab當中的神經網路工具箱來實現的。該BP神經網路的輸入層節點數、隱層數、隱層節點數、輸出層節點數、傳遞函式、演算法等均可以由使用者自主設定，並且給出通用的介面，方便使用者使用。

該類的實現是通過網路構造、網路訓練、網路應用三個模組實現的。網路構造模組的主要功能是建立一個BP神經網路；網路訓練模組的主要功能是根據輸入的訓練資料，通過訓練調整權值，最終輸出一個需要的網路；應用模組的主要功能是提供方便使用者使用的藉口。網路實現的流程圖如圖4-1所示。