1. 程式人生 > >深度學習入門-基於Python的理論與實現 感知機

深度學習入門-基於Python的理論與實現 感知機

目錄

 

感知機

感知機是什麼

權重和偏置的含義

單層感知機的侷限性

多層感知機


感知機

感知機是什麼

就是人工神經元

權重越大,對應該權重的訊號的重要性就越高。

權重和偏置的含義

權重是控制輸入訊號重要性的引數,偏置是調整神經元被啟用的容易程度的引數。

單層感知機的侷限性

單層感知機的侷限性就在於它只能表示由一條直線分割的空間。

單層感知機(就是單個神經元)可以實現與門、或門、與非門,但是不可以實現異或門。因為通過畫圖發現,異或門是非線性的,就是不能使用一條直線將它的取值空間分開,而與門、或門、與非門是線性的,可以使用一條直線分開。

                                                                                 或門

       

                                                                               異或門

由直線分割而成的空間稱為線性空間,由曲線分割而成的空間稱為非線性空間。

多層感知機

由多層單層感知機級聯構成多層感知機。這樣單層感知機無法分割的非線性空間就可以用多層感知機分割了。

例如:異或門的構成如下:它是由兩層構成,第一層:與非門和或門,第二層:與門。雖然與非門,或門,與門三個都是隻能分割線性空間,但是通過組合它們就構成了一個可以分割非線性空間的函式。

單層感知機無法表示的東西,通過增加一層就可以解決。 

兩層感知機(嚴格來說是啟用函式使用了非線性的sigmoid函式的感知機)可以表示任意函式。

文中這句話的含義其實就是,用兩層的網路可以構建任意的非線性函式。既然兩層的網路可以構建任意的函式,那麼為什麼我們還要費心費力的構建多層網路呢,兩層不就行了嗎?原因就是,多層的更符合人的思維(模組化),我們一步一步(一層一層)的完成我們的網路。而兩層雖然可以構建任意函式,但是它的引數實在是太複雜,確定非常困難。好比我們要找到一個複合函式,多層的思想就是從最裡邊的小括號開始,一步一步的組合來找到這個函式,而只使用兩層的網路那就要求我們兩步就要寫出這個函式,實在太難做,太複雜。