1. 程式人生 > >卷積神經網路反向BP演算法公式推導

卷積神經網路反向BP演算法公式推導

博文轉載至:http://blog.csdn.net/celerychen2009/article/details/8964753

此篇博文只涉及到公式推導,如果想了解卷積神經網路的具體工作過程,可檢視轉載博文博主其它文件或者百度自己去看。轉載的文章涉及到的角下標大家注意下,雖然作者進行了解釋,但還是注意下,還有原文可能有些錯別子,由於錯別字都在圖片上,所以我就沒修改了,大家看的時候希望注意下

深度神經網路已經在語音識別,影象識別等領域取得前所未有的成功。本人在多年之前也曾接觸過神經網路。本系列文章主要記錄自己對深度神經網路的一些學習心得。

第一篇,從最經典的BP網路開始。我不打算詳細描述神經網路的生物學執行機理,因為網路上有太多的教程可以參考。這裡,主要描述其數學上的計算過程,並且採用的符號可能與其它參考書上的符號有很大差異。特別是,斯坦福官方網站上對深度網路中所引用的符號有太多的小標,上標,給初學者帶來不便。


一. 網路結構

 經典的BP網路,其具體結構如下:


請特別注意上面這個圖的一些符號說明如下:


二.  學習演算法

     1. 訊號的前向傳遞過程

2.   誤差反向傳導過程





三.  小結

           訊號的前向傳遞和誤差反向傳遞過程都可以用遞迴公式描述。其實,就幾個公式而已,把相關的幾個重要公式再次總結如下: