《神經網絡與深度學習》讀書筆記
阿新 • • 發佈：2018-07-14
1.3 容易 讀書筆記 自動調整 表示 引入 能夠 自動 神經網絡
1.1 感知器
- 感知器是一種人工神經元.它接受幾個二進制輸出並產生一個二進制輸入.如果引入權重和閾值,那麽感知器的參數可以表示為:
,如果再引入偏置(表示激活感知器有多容易的估算),那麽規則可以簡潔表示為:
- 感知器是單輸出的,但這個單輸出可以被用於多個其它感知器的輸入.
- 感知器可以很容易地計算基本的邏輯功能,如與,或,與非.所以感知器網絡可以計算任何邏輯功能.
- 一般可以將輸入層也畫為一層有輸出但沒有輸入的感知器,但它實際上只表示一種輸出期望值的特殊單元.
- 使感知器能夠自動調整權重和偏置的學習算法是神經網絡有別於傳統邏輯門的關鍵.
1.2 S型神經元
- 網絡中單個感知器上權重或偏置的微小改動可能會引起輸出翻轉,從而導致其余網絡的行為改變.所以逐步修改權重和偏置來讓輸出接近期望很困難,所以引入了S型神經元(邏輯神經元).
- S型神經元和感知器類似,但是權重和偏置的微小改動只引起輸出的微小變化.S型神經元的輸入可以是0和1中的任意值,輸出是σ(wx+b),其中σ被稱為s型函數(邏輯函數):
,也就是輸出為:
- σ函數是階躍函數的平滑版本.這意味著權重和偏置的微小變化會產生一個微小的輸出變化:
,這意味著輸出的變化是權重和偏置的變化的線性函數. - 練習:
- 感知器網絡的結果只和wx+b的正負有關,同時乘一個正的常數c不會改變結果的正負性
- 神經元網絡中的權重和偏置都乘以一個趨向正無窮的常數c後,當wx+b != 0時,輸出σ(z)近似為1,和感知器網絡完全一致.當感知器的wx+b=0時,輸出σ(z)=0.5,所以會不同.
1.3 神經網絡的架構
《神經網絡與深度學習》讀書筆記