本節開始深度學習的第一個演算法BP演算法，本打算第一個演算法為單層感知器，但是感覺太簡單了，不懂得找本書看看就會了，這裡簡要的介紹一下單層感知器：

圖中可以看到，單層感知器很簡單，其實本質上他就是線性分類器，和機器學習中的多元線性迴歸的表示式差不多，因此它具有多元線性迴歸的優點和缺點。單層感知器只能對線性問題具有很好的解決能力，但是非線性問題就無法解決了，但是多層感知器卻可以解決非線性問題，多層感知器存在的問題是隱層的權值向量無法調整，我們從學習規則來看：

如上圖的多層感知器的模型，而單層感知器的通用學習規則為：,權值的調整量只取決於期望輸出和實際輸出之差，然而對於隱層節點來說不存在期望輸出，因而該權值更新不適合隱層，因為這個問題，一直沒有很好的解決辦法，所以神經網路停滯了。直到1986年， Rumelhart和McCelland提出了反向傳播誤差演算法即BP，徹底的解決了這個問題，也因此神經神經網路從新回到人們的視野。下面我們詳細講解BP演算法，搞懂BP的來龍去脈。

BP演算法

        本篇的核心就是BP演算法，講解過程中會有大量的數學公式，想深入理解BP演算法的同學，請不要懼怕數學，你要克服它，嘗試理解他，數學公式會告訴你最本質的問題，大家跟著我的思路走一定可以理解的，尤其我當時第一次學習時的疑惑的地方更會詳細的講解，同時本篇我是站在對BP一無所知的同學的角度進行講解，學習過程中，建議大家不要只看，自己也動手推一下，搞懂每個公式的來由，另外就是公式有點繁瑣，我會盡量講清楚，好下面開始：

       為了簡單起見，本篇將以三層感知器為例進行講解，下面開始：

上圖給出了三層感知器的模型圖，其中

輸入向量為：

                      ，其中為隱層神經元引入閾值而設定的。

隱層輸出向量為：

                     ，其中是為輸出層神經元引入閾值而設定的。

輸出層向量為：

                     

期望輸出向量為：

                      

輸入層到隱層之間的權值矩陣用表示：

                       ，其中列向量為隱層第個神經元對應的權向量

                         

隱層到輸出層之間的權值矩陣用表示為：

                        ，其中列向量為輸出層第k個神經元對應的權值向量

好，到這裡，基本上就是介紹了一些符合的意義，這裡大家需要注意的是下標的含義，輸入向量使用下表i代表第i個輸入。隱層輸出向量使用下標j表示第j個隱層輸出，而輸出層使用下標k表示第k個輸出，還有就是這都是向量不是矩陣，只有一列為向量。

我們再看看權值，這些權值組成的是矩陣，為什麼是矩陣呢？先看看輸入層到隱層的權值矩陣V，其中他是nxm的即n行m列，其中列向量為隱層第個神經元對應的權向量，說明v矩陣的列向量對應著隱層的神經元，那麼對應的行向量就是代表所有輸入向量對隱層的權值，因為隱層的每個神經元的輸入是所有的輸入向量，這裡大家特別注意，隱層權值是矩陣而不是向量，如上圖。同理隱層到輸出層的權值也矩陣，同時大家要多留意下標代表的意義，下面開始看看他們的數學關係：

對於輸出層，有：

                                                (不是i，是L的小寫）                                   

                                                                                                             

 對於隱層，有：

                                                                                                                           

                                                                                                                     

上面兩式的轉移函式都是單極性Sigmoid函式：

                                                                                                                                                                      具有連續可導的特點，且具有：

                                                                                                                                      

這裡也要多注意替換思路和下標，理解下標的意義 ，搞明白思路，下面就介紹誤差到底是怎麼反向傳播的。

BP學習演算法：

在推倒公式前，我先使用語言簡單的描述一下BP的工作過程，這樣再看推倒也不至於太突兀，心裡有個思路會清晰很多。

       BP演算法的基本思想是，學習過程由訊號的正向傳播與誤差反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經過各隱層逐層處理後，傳向輸出層。若輸出層的實際輸出與期望輸出不符，則轉入誤差的反向傳播階段。誤差反向傳播是將輸出誤差以某種形式通過隱層向輸入層逐層反傳，並將誤差分攤給各層的所有單元，從而獲得各層的誤差訊號，此誤差訊號即作為修正單元權值的依據。這種訊號正向傳播與誤差反向傳播的各層權值調整過程周而復始的進行，權值不斷調整的過程，也就是網路學習訓練的過程，此過程一直進行到網路輸出的誤差減少到可接受的程度，或進行到預先設定的學習次數為止。

         大家看了是不是有點暈暈的呢，還是不知道到底如何反向傳播的，別急，我們下面通過數學進行說明他到底是如何進行反向傳播的。

我麼知道誤差E的來源就是實際輸出和期望輸出的差值即：

                                                                                                               

根據式將誤差E式展開到隱層為：

                           

                                                                                                                           

根據式將誤差E進一步展開至輸入層為：

                             

                                                                                                   

到此我們把誤差的表示式都帶進去了，我們發現權值w和v都在其中，只要w和v取合適的值就可以使E達到最小，此時的公式即為代價函式或者損失誤差函式，那麼我們怎麼求最優值呢？如果大家機器學習學的比較深入，機會想到使用梯度下降法進行更新權值可以達到最優，那什麼是梯度呢？什麼又是梯度下降呢？為什麼梯度下降就是函式下降最快的方向呢？不懂的請看我的這篇文章，請務必深入理解我提的問題，這裡就不詳細講了，那篇文體我講的很透徹了，這裡就預設大家都深入理解了梯度下降的概念，我們更新權值只需按照梯度下降方向進行更新即可找到最優的權值。

    我們知道一點的梯度就是這裡的一階偏導，因此對w和v求偏導即可：

對輸出層的權值調整量：

                                                                                     

對隱層的權值調整量：

                                                                                  

負號表示梯度下降，為學習係數，從這裡可以看出BP的學習規則是型別的，不懂的請看我的深度學習第一篇文章，好，到這裡我們基本知道是通過什麼進行學習的，但是具體的更新過程還是不知道，我們下面的精力是推倒誤差對權值的偏導公式，等推倒 完以後大家也就知道，權值是如何更新的，同時也明白誤差反向傳播的原理是是什麼，下面開始：

推倒之前大家需要明確下標的意思：

輸入層向量元素是使用進行表示的，下標是，同時下標的取值範圍為：

隱藏層輸出向量元素使用進行表示，下標是，同時下標的取值範圍為：（注意，不從0開始，原因看圖）

輸入層到隱藏層的權值矩陣元素使用表示，下標代表是行列的元素，因為是矩陣，所以列對應隱藏層的神經元個數，行代表輸入層的個數，所以，

輸出層的輸出向量元素使用表示，下標是k，同時下標的取值範圍為：

隱藏層到輸出層的權值矩陣元素使用進行表示，下標代表的是行列的元素，因為是矩陣，所以列代表的是輸出層神經元的個數，行代表隱藏層的神經元的個數，所以,

請大家一定要搞明白字母和下標代表的含義，這是深入理解的前提，下面開始推倒公式：

對於輸出層，根據式可得：

                                                                                                              

對於隱層，根據式可得：

                                                                                                                         

為了看起來方便，我們對輸出層和隱層各定義一個誤差訊號：

                                                                                                                                                    

                                                                                                                                                    

根據、、輸出層權值向量的調整可寫為：

                                                                                                                                            

根據、、隱藏層權值向量的調整可寫為：                        

                                                                                                                                            

通過  、 可以看到，我們只需要求出err就可以求出最後的權值調整量，下面就開始求解err：

對於輸出層，根據、使用鏈式求導規則：

                                                                                      

對於隱藏層，根據，使用鏈式求導規則：

                                                                                        

下面就是求，式中的偏導：

對於輸出層，此時根據可得：

                                                                                                                                             

對於輸出層，此時根據可得：

                                                                                                                

將 、分別代入 、，同時根據  式的：                                                           

                                                                                         

                               

                                                                                                                                     

                                                                 

根據、代入權值調整公式即、：

                                                                             

                                                                                

我們就得到了三層感知器的權值調整表示式，從上式我們可以看到輸出層和隱藏層的權值調節過程，調節過程和三個因素有關即：學習率，本層輸出的誤差訊號err以及本層的輸入訊號x或y，其中輸出層的誤差訊號與網路的期望輸出和實際輸出之差有關，直接反映了輸出誤差，而隱層的誤差訊號與前面各層的誤差訊號均有關，且是從輸出層反向傳過來的，大家詳細的看看、兩式，會發現輸出層的權值調整是期望和真實訊號的差值，乘上學習率和輸出層的輸入訊號（此時就是隱層的輸出訊號），對於隱藏層的權值調整不僅和當前隱層的輸出訊號有關，還和輸出層的誤差訊號有關，如果是多個隱層，那麼隱層的訊號都會和輸出層的誤差訊號err有關，也就是說是通過輸出層的誤差訊號err反向傳播到各層，對於多隱層的神經網路的誤差訊號傳播是不是這樣呢？我們在根據上面三層網路推倒到多隱層的網路。

            對於一般多層感知器，設有h個隱層，按照前行順序，各隱層的節點數分別為記為各隱層的輸出分別為計為,各層權值矩陣分別記為,則各層的權值調整公式為：

輸出層：

                                                                 

                                          

第h隱層：

                                                 

                                   ；  

按照上面的規律，第一層的隱藏層的權值調整為：

                                                                                               

                                            

此時大家應該好好理解一下上式的公式，深入理解他是怎麼反向傳播的，這個反向表現在哪裡？在這裡簡單的解釋一下，對於隱層，根據式，我們可以看到隱層的權值更新和輸出層的誤差和上一層的權值的乘積有關，這就是反向的來意，所有隱層的權值調整都和輸出層的誤差有關，也就是說所有權值的調整都來源與輸出層的期望值和真實值的差有關，這就是反向傳播的來歷，後面會使用圖來解釋這方面的內容，下面先把、式使用向量進行表示一下：

對於輸出層;

設，則：

                                    

對於隱層：

設,則：

                                     

到這裡公式就推倒結束了，下面詳細看看他到底如何反向傳播的，這裡給出誤差訊號流向圖進行解釋：

這裡只畫出了輸出層和第一層隱藏層，是完全按照公式  、來的，大家結合者這兩個公式好好理解一下，反向誤差的傳播也很清晰d-o一直反向調節權值，這就是反向的來源，請大家務必深入理解，有什麼疑問請留言，本節到此結束，下一節我們看看BP有哪些性質以及優缺點，如何改進等。