1. 程式人生 > >Day 5 神經網絡Neural Network

Day 5 神經網絡Neural Network

div src 一個 通過 時也 技術 其他 sub img

神經元模型

  技術分享圖片

  可以將神經元看作一個計算單元,它從輸入神經接受一定的信息,做一些計算,然後將結果通過軸突傳送到其它節點或大腦中的其它神經元。

  將神經元模擬為一個邏輯單元,如下:

  技術分享圖片

  在上圖中,輸入單元為x1 x2 x3,有時也可以加上額外的x0作為偏置單位,x0的值為1,是否添加偏置單位取決於其是否對例子有利。

  中間的橙色小圈代表一個單一的神經元,而神經網絡其實就是不同神經元組合在一起的集合。

  輸出就是計算結果h(x)。

神經網絡

  技術分享圖片

  

  輸入單元為x1 x2 x3,也可以加上偏置單元x0。

  中間一層有三個神經元a1(2) a2(2) a3(2),若加上偏置單元,可以再添一個a0

(2)

  最後一層的節點就是中間三個節點的輸出,假設函數的結果。

  其中,第一層稱為輸入層,中間層稱為隱藏層,最後一層稱為輸出層。

  技術分享圖片

  技術分享圖片

  如,a上標(2) 下標1表示第2層的第一個激勵,即隱藏層的第一個激勵。所謂激勵(activation) 是指由一個具體神經元讀入信息後,需要利用參數矩陣,經過一系列計算再將值傳給下一層,其中計算過程為s激勵函數或叫做邏輯激勵函數。

前向傳播Forward Propagation

  技術分享圖片

  我們從輸入層的激勵開始,然後前向傳播給隱藏層並計算隱藏層的激勵,然後繼續前向傳播,計算出輸出層的激勵。

神經網絡與邏輯回歸

  技術分享圖片

  如果蓋住神經網絡的輸入層,會發現這其實很想邏輯回歸,在邏輯回歸中我們用給定的特征值預測h(x),而在神經網絡中我們用隱藏層計算得到的值來預測h(x)。

其他神經網絡

  技術分享圖片

  

Day 5 神經網絡Neural Network