1. 程式人生 > >機器學習——前饋神經網絡

機器學習——前饋神經網絡

details 不存在 oid 網絡拓撲 閾值 一個 感知機 電平 lar

一、神經網絡基礎

1. 神經元模型


神經網絡中最基本的單元是神經元模型(neuron)。

細胞體分為兩部分,前一部分計算總輸入值(即輸入信號的加權和,或者說累積電平),後一部分先計算總輸入值與該神經元閾值的差值,然後通過激活函數(activation function)的處理,產生輸出從軸突傳送給其它神經元。M-P神經元模型如下圖所示:

技術分享圖片

2. 激活函數


與線性分類十分相似,神經元模型最理想的激活函數也是階躍函數,即將神經元輸入值與閾值的差值映射為輸出值1或0,若差值大於零輸出1,對應興奮;若差值小於零則輸出0,對應抑制。但階躍函數不連續,不光滑,故在M-P神經元模型中,也采用Sigmoid函數來近似, Sigmoid函數將較大範圍內變化的輸入值擠壓到 (0,1) 輸出值範圍內,所以也稱為擠壓函數(squashing function)。

技術分享圖片

更多激活函數參考: https://www.jianshu.com/p/22d9720dbf1a

3. 感知機(Perceptron)


感知機(Perceptron)是由兩層神經元組成的一個簡單模型,但只有輸出層是M-P神經元,即只有輸出層神經元進行激活函數處理,也稱為功能神經元(functional neuron);輸入層只是接受外界信號(樣本屬性)並傳遞給輸出層(輸入層的神經元個數等於樣本的屬性數目),而沒有激活函數。這樣一來,感知機與之前線性模型中的對數幾率回歸的思想基本是一樣的,都是通過對屬性加權與另一個常數求和,再使用sigmoid函數將這個輸出值壓縮到0-1之間,從而解決分類問題。不同的是感知機的輸出層應該可以有多個神經元,

從而可以實現多分類問題,同時兩個模型所用的參數估計方法十分不同。

技術分享圖片

感知機權重學習過程

感知機的學習采用隨機梯度下降算法(SGD)該算法的說明可以參考:http://www.cnblogs.com/NeilZhang/p/8454890.html

技術分享圖片

其中 η∈(0,1)稱為學習率,可以看出感知機是通過逐個樣本輸入來更新權重,首先設定好初始權重(一般為隨機),逐個地輸入樣本數據,若輸出值與真實標記相同則繼續輸入下一個樣本,若不一致則更新權重,然後再重新逐個檢驗,直到每個樣本數據的輸出值都與真實標記相同。容易看出:感知機模型總是能將訓練數據的每一個樣本都預測正確,和決策樹模型總是能將所有訓練數據都分開一樣,感知機模型很容易產生過擬合問題。

局限性:

感知機只有輸出層神經元進行激活函數處理,即只擁有一層功能神經元,其學習能力非常有限。 可以證明若二類模式是線性可分的,即存在一個線性超平面能將他們分開,則感知機的學習一定會收斂(converge)而求得適當的權向量w = (w1,w2,w3…..); 否則感知機學習過程將會發生震蕩,w難以穩定下來,不能求得合適解。

要解決非線性可分問題需要考慮使用多層功能神經元,即神經網絡。(神經網絡發展史上經典問題:異或問題單層網絡不能解決)

4.神經網絡


多層神經網絡的拓撲結構如下圖所示:

技術分享圖片

在神經網絡中,輸入層與輸出層之間的層稱為隱含層或隱層(hidden layer),隱層和輸出層的神經元都是具有激活函數的功能神經元。只需包含一個隱層便可以稱為多層神經網絡,常用的神經網絡稱為“多層前饋神經網絡”(multi-layer feedforward neural network),該結構滿足以下幾個特點:

* 每層神經元與下一層神經元之間完全互連

* 神經元之間不存在同層連接

* 神經元之間不存在跨層連接

技術分享圖片

根據上面的特點可以得知:這裏的“前饋”指的是網絡拓撲結構中不存在環或回路,而不是指該網絡只能向前傳播而不能向後傳播

二、誤差逆傳播算法(BP神經網絡算法)


神經網絡的學習主要蘊含在權重和閾值中,多層網絡使用上面簡單感知機的權重調整規則顯然不夠用了,BP神經網絡算法即誤差逆傳播算法(error BackPropagation)正是為學習多層前饋神經網絡而設計,BP神經網絡算法是迄今為止最成功的的神經網絡學習算法。

技術分享圖片

上圖的網絡中有(d+l+1)*q+l個參數需要確定:輸入層到隱層的d×q個權重,隱層到輸出層q×l個權重、q個隱層神經元的閾值、l個輸出神經元的閾值。

上圖為一個單隱層前饋神經網絡的拓撲結構,BP神經網絡算法也使用梯度下降法(gradient descent),以單個樣本的均方誤差的負梯度方向對權重進行調節(sgd算法)。

技術分享圖片

學習率η∈(0,1)控制著沿反梯度方向下降的步長,若步長太大則下降太快容易產生震蕩,若步長太小則收斂速度太慢,一般地常把η設置為0.1,有時更新權重時會將輸出層與隱含層設置為不同的學習率。

可以看出:BP算法首先將誤差反向傳播給隱層神經元,調節隱層到輸出層的連接權重與輸出層神經元的閾值;接著根據隱含層神經元的均方誤差,來調節輸入層到隱含層的連接權值與隱含層神經元的閾值。BP算法基本的推導過程與感知機的推導過程原理是相同的,下面給出調整隱含層到輸出層的權重調整規則的推導過程:

1. 誤差函數


技術分享圖片

2. 具體推導過程


技術分享圖片

其它參數的推算過程相似,參考《機器學習》中神經網絡的介紹。

上述算法的推導是基於每次僅針對一個訓練樣例更新權重和閾值(標準BP算法),這種算法參數更新十分頻繁,可能會出現“抵消”現象。累計BP算法針對累計誤差最小化,每次讀取整個數據集一遍後才對參數進行更新,其參數更新的頻率低得多。

3. 過擬合


BP神經網絡強大的學習能力常常容易造成過擬合問題,有以下兩種策略來緩解BP網絡的過擬合問題:

  • 早停:將數據分為訓練集與測試集,訓練集用於學習,測試集用於評估性能,若在訓練過程中,訓練集的累積誤差降低,而測試集的累積誤差升高,則停止訓練。

  • 引入正則化(regularization):基本思想是在累積誤差函數中增加一個用於描述網絡復雜度的部分,例如所有權值與閾值的平方和,其中λ∈(0,1)用於對累積經驗誤差與網絡復雜度這兩項進行折中,常通過交叉驗證法來估計。

技術分享圖片

4. 全局最小與局部最小


技術分享圖片

要成為局部極小點,只要滿足該點在參數空間中的梯度為零。局部極小可以有多個,而全局最小只有一個。全局最小一定是局部極小,但局部最小卻不一定是全局最小。顯然在很多機器學習算法中,都試圖找到目標函數的全局最小。梯度下降法的主要思想就是沿著負梯度方向去搜索最優解,負梯度方向是函數值下降最快的方向,若叠代到某處的梯度為0,則表示達到一個局部最小,參數更新停止。因此在現實任務中,通常使用以下策略盡可能地去接近全局最小。

* 局部極小解:參數空間中的某個點,其鄰域點的誤差函數值均不小於該點的誤差函數值。

* 全局最小解:參數空間中的某個點,所有其他點的誤差函數值均不小於該點的誤差函數值。

跳出局部最小的方法:

  • 以多組不同參數值初始化多個神經網絡,按標準方法訓練,叠代停止後,取其中誤差最小的解作為最終參數。
  • 使用“模擬退火”技術
  • 使用隨機梯度下降,即在計算梯度時加入了隨機因素,使得在局部最小時,計算的梯度仍可能不為0,從而叠代可以繼續進行。

三、神經網絡可視化


推薦一個在線測試神經網絡的網站:http://playground.tensorflow.org/

下圖為上述網站通過兩個神經元解決異或問題:

技術分享圖片

參考:

《機器學習》 周誌華

激活函數: https://blog.csdn.net/u011826404/article/details/53767428

隨機梯度下降與批梯度下降: http://www.cnblogs.com/NeilZhang/p/8454890.html

機器學習——前饋神經網絡