1、BP神經網路 
1.1 神經網路基礎 
神經網路的基本組成單元是神經元。神經元的通用模型如圖 1所示，其中常用的啟用函式有閾值函式、sigmoid函式和雙曲正切函式。 
 
圖 1 神經元模型 
神經元的輸出為： 

y=f(∑i=1mwixi)y=f(∑i=1mwixi)
神經網路是將多個神經元按一定規則聯結在一起而形成的網路，如圖 2所示。 
 
圖 2 神經網路示意圖 
從圖 2可以看出，一個神經網路包括輸入層、隱含層（中間層）和輸出層。輸入層神經元個數與輸入資料的維數相同，輸出層神經元個數與需要擬合的資料個數相同，隱含層神經元個數與層數就需要設計者自己根據一些規則和目標來設定。在深度學習出現之前，隱含層的層數通常為一層，即通常使用的神經網路是3層網路。 
以通用的神經網路模型來分析神經網路的輸出。首先規定一些引數的意義：用 wl+1ijwijl+1 來表示第 l層第j 個節點和第l+1層第i個節點之間的權值，啟用函式為f(x)，第l層一共有 lnln 個節點，偏置引數 θlθl ，則第l+1層第j個節點的輸出為： 
Ol+1j=f(∑j=1lnwl+1ijIl+1i+θl)Ojl+1=f(∑j=1lnwijl+1Iil+1+θl)
設定一箇中間變數  zl+1=∑lnj=1wl+1ijIl+1i+θlzl+1=∑j=1lnwijl+1Iil+1+θl ，而l+1層的輸入與上一層對應神經元的輸出是相同的，即 Il+1i=OliIil+1=Oil ，因此網路中某個神經元的輸出可寫如下等式： 
Ol+1j=f(zl+1)=f(∑j=1lnwl+1ijIl+1i+θl)=f(∑j=1lnwl+1ijOli+θl)Ojl+1=f(zl+1)=f(∑j=1lnwijl+1Iil+1+θl)=f(∑j=1lnwijl+1Oil+θl)
第 l+1l+1 層的輸出，又是下一層的輸入。設一共有 mm 層網路（包含輸出和輸入），則網路輸出層第i個節點的輸出為： 
Omi=f(∑i=1lm−1wmijImi+θm−1)Oim=f(∑i=1lm−1wijmIim+θm−1)

由以上幾個等式就可以得到從對應輸入的輸出層某個神經元的輸出值。那怎麼保證輸出的值是所想要的？通常採用後向反饋方法，將誤差層層傳遞，並利用梯度下降法更新每一層的引數，這就是BP神經網路。 
1.2 後向反饋  
假設網路的輸入序列為： (x1,y1),(x2,y2),......,

相關推薦

BP神經網路&卷積神經網路概念

1、BP神經網路 1.1 神經網路基礎 神經網路的基本組成單元是神經元。神經元的通用模型如圖 1所示，其中常用的啟用函式有閾值函式、sigmoid函式和雙曲正切函式。  圖 1 神經元模型 神經元的輸出為：  y=f(∑i=1m

神經網路6_CNN(卷積神經網路)、RNN(迴圈神經網路)、DNN(深度神經網路)概念區分理解

 sklearn實戰-乳腺癌細胞資料探勘(部落格主親自錄製視訊教程，QQ：231469242) https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm

Neural Networks and Convolutional Neural Networks Essential Training 神經網路和卷積神經網路基礎教程 Lynda課程中文字幕

Neural Networks and Convolutional Neural Networks Essential Training 中文字幕 神經網路和卷積神經網路基礎教程 中文字幕Neural Networks and Convolutional Neural Networks

深層神經網路和卷積神經網路的反向傳播過程推導

反向傳播過程是深度學習的核心所在，雖然現在很多深度學習架構如Tensorflow等，已經自帶反向傳播過程的功能。我們只需要完成網路結構的正向傳播的搭建，反向傳播過程以及引數更新都是由架構本身來完成的。但為了更好的瞭解深度學習的機理，理解反向傳播過程的原理還是很重要的。 在學

從神經網路到卷積神經網路的瞭解

date: 2016-09-14 11:02 老師提供的閱讀材，上週就應該看完，但還是沒看，這周需要看完然後看兩篇FNN的論文並做一個report。 提供的材料是CS231n PS:才發現有翻譯，真真好人，我真真浪費時間t-T PPS

Deep learning－全連線層神經網路與卷積神經網路

全連線層神經網路與卷積神經網路 全連線層神經網路相比於卷積神經網路存在的問題：因為全連線，所以當相互連線的節點個數增加時，節點之間的邊個數會很多，而一條邊對應著一個引數，所以全連線層在神經網路節點個數多的時候會存在引數很多的情況。而對於神經網路引數過多帶來的影響有在計算上的，也有在模型的擬合程度

Batch Normalization--全連線神經網路和卷積神經網路實戰

Batch Normalization原理 網上部落格一大堆，說的也很明白，這裡就簡單的說一下我的個人理解： 對每一個特徵值進行 0均值化，利於神經網路擬合時，對於自身的引數b，無需修改很多次，

神經網路及卷積神經網路的訓練——反向傳播演算法

神經網路的訓練過程，就是通過已有的樣本，求取使代價函式最小化時所對應的引數。代價函式測量的是模型對樣本的預測值與其真實值之間的誤差，最小化的求解一般使用梯度下降法（Gradient Decent）或其他與梯度有關的方法。其中的步驟包括： 初始化引數。 求代價

DeepLearning (六) 學習筆記整理：神經網路以及卷積神經網路

DeepLearning 已經持續火了一段時間，很多領域的 state-of-the-art 都被刷了一刷。這裡整理一下前段時間關於DeepLearning的學習筆記，主要是CNN以及Neural Networds方面的理解，如果有理解錯誤之處，還

卷積神經網路反向BP演算法公式推導

博文轉載至：http://blog.csdn.net/celerychen2009/article/details/8964753 此篇博文只涉及到公式推導，如果想了解卷積神經網路的具體工作過程，可檢視轉載博文博主其它文件或者百度自己去看。轉載的文章涉及到的角下標大家注意下

Keras學習（四）——CNN卷積神經網路

本文主要介紹使用keras實現CNN對手寫資料集進行分類。 示例程式碼： import numpy as np from keras.datasets import mnist from keras.utils import np_utils from keras.models impo

深度學習（十九）基於空間金字塔池化的卷積神經網路物體檢測

原文地址：http://blog.csdn.net/hjimce/article/details/50187655 作者：hjimce 一、相關理論    本篇博文主要講解大神何凱明2014年的paper：《Spatial Pyramid Pooling in Dee

淺析卷積神經網路的內部結構

提到卷積神經網路（CNN），很多人的印象可能還停留在黑箱子，輸入資料然後輸出結果的狀態。裡面超級多的引數、眼花繚亂的命名可能讓你無法短時間理解CNN的真正內涵。這裡推薦斯坦福大學的CS231n課程，知乎上有筆記的中文翻譯。如果你需要更淺顯、小白的解釋，可以讀讀看本文。文章大部分理解都源自於CS3

TensorFlow官方文件樣例——三層卷積神經網路訓練MNIST資料

        上篇部落格根據TensorFlow官方文件樣例實現了一個簡單的單層神經網路模型，在訓練10000次左右可以達到92.7%左右的準確率。但如果將神經網路的深度拓展，那麼很容易就能夠達到更高的準確率。官方中文文件中就提供了這樣的樣例，它的網路結構如

用TensorFlow訓練卷積神經網路——識別驗證碼

需要用到的包：numpy、tensorflow、captcha、matplotlib、PIL、random import numpy as np import tensorflow as tf # 深度學習庫 from captcha.image import ImageCaptcha

卷積神經網路（CNN）在語音識別中的應用

卷積神經網路（CNN）在語音識別中的應用 作者：侯藝馨 前言 總結目前語音識別的發展現狀，dnn、rnn/lstm和cnn算是語音識別中幾個比較主流的方向。2012年，微軟鄧力和俞棟老師將前饋神經網路FFDNN（Feed Forward Deep Neural Network）引入到聲學模

學習筆記之——基於pytorch的卷積神經網路

本博文為本人的學習筆記。參考材料為《深度學習入門之——PyTorch》 pytorch中文網：https://www.pytorchtutorial.com/  關於反捲積：https://github.com/vdumoulin/conv_arithmetic/blob/ma

使用兩層卷積神經網路來實現手寫數字集（面向物件）

介紹使用卷積神經網路來實現手寫數字集的識別 主要採用面向物件的變成方法實現， 程式碼可以直接執行，分別有訓練模型，儲存模型，和運用儲存好的模型測試單張圖片 import tensorflow as tf from tensorflow.examples.tutorials.mnist i

卷積神經網路隨記

基本原理 資料-->前向傳播得出損失-->反向傳播更新引數 卷積神經網路最核心的任務就是分類任務。 檢索任務或者說推薦，比如找出與某個花同類別的花，什麼東西和這個比較像，還有類似淘寶的衣服同款推薦。 Detection做的就是兩件事，第一件是找到

卷積神經網路

卷積層和池化層   一、卷積神經網路的權重共享 　　經典神經網路：全連線，即每個神經元都與每一個數據有對應的引數； 　　卷積神經網路是權重共享的，就是得到的特徵圖的每個畫素點都是原圖的一個區域（如5*5*3，有3個顏色通道）與filter（卷積運算元，如5*5*3，有75個權重引數）對位相乘