1. 程式人生 > >神經網絡初探(Neural Networks)

神經網絡初探(Neural Networks)

neu 成了 輸出結果 特征 img 組合 gre span ssi

無論是線性回歸還是邏輯回歸,都有一個問題:當特征數量太多時,特征項將會非常多甚至可能隨著特征數的增加呈幾何級數遞增。那麽就會使得計算負荷非常高。

比如我們輸入的特征是一張50*50的灰度圖,並且將所有的像素視為特征,那麽就會有2500個特征。如果要進一步把這些特征兩兩組合構成一個多項式模型,那麽將會有約300萬項。普通的logistic regression模型並不能很好地處理這麽多的特征。

對於上述的問題,神經網絡能很好的克服。

什麽是神經網絡?

下圖是一個以邏輯回歸模型作為自身學習的神經元示例

技術分享

由神經元我們構成了神經網絡:

技術分享

Layer 1: 輸入層(Input Layer)

Layer 2: 隱藏層(Hidden Layer)

Layer 3: 輸出層(Output Layer)

註:對每一層都增加一個偏置單位(bias unit)

前向傳播:

技術分享

ΘX = a;

註:第j層有Sj個單元,那麽Θ(j)為Sj+1 * (Sj + 1)的矩陣

技術分享

神經網絡工作原理

技術分享

技術分享

隨著層數增加實現的邏輯越來越復雜。學到越來越深層的信息。

怎麽用神經網絡實現多類別分類?

當我們有不止兩種分類時,比如我們有四類,那麽最後在輸出層我們也應該有四個輸出單元(四個值)。

技術分享

可能的輸出結果如下:

技術分享

神經網絡初探(Neural Networks)