[形象的解釋神經網路啟用函式的作用是什麼?]
阿新 • • 發佈:2018-12-30
查閱資料和學習,大家對神經網路中啟用函式的作用主要集中下面這個觀點:
-
啟用函式是用來加入非線性因素的,解決線性模型所不能解決的問題。
下面我分別從這個方面通過例子給出自己的理解~
@lee philip@顏沁睿倆位的回答已經非常好了,我舉的例子也是來源於他們,在這裡加入了自己的思考,更加詳細的說了一下~
開講~
首先我們有這個需求,就是二分類問題,如我要將下面的三角形和圓形點進行正確的分類,如下圖:
利用我們單層的感知機, 用它可以劃出一條線, 把平面分割開:
上圖直線是由得到,那麼該感知器實現預測的功能步驟如下,就是我已經訓練好了一個感知器模型,後面對於要預測的樣本點,帶入模型中,如果y>0,那麼就說明是直線的右側,也就是正類(我們這裡是三角形),如果 ,那麼就說明是直線的左側,也就是負類(我們這裡是圓形),雖然這和我們的題目關係不大,但是還是提一下~
好吧,很容易能夠看出,我給出的樣本點根本不是線性可分的,一個感知器無論得到的直線怎麼動,都不可能完全正確的將三角形與圓形區分出來,那麼我們很容易想到用多個感知器來進行組合,以便獲得更大的分類問題,好的,下面我們上圖,看是否可行:
好的,我們已經得到了多感知器分類器了,那麼它的分類能力是否強大到能將非線性資料點正確分類開呢~我們來分析一下:
我們能夠得到
哎呀呀,不得了,這個式子看起來非常複雜,估計應該可以處理我上面的情況了吧,哈哈哈哈~不一定額,我們來給它變個形.上面公式合併同類項後等價於下面公式:
嘖嘖,估計大家都看出了,不管它怎麼組合,最多就是線性方程的組合,最後得到的分類器本質還是一個線性方程,該處理不了的非線性問題,它還是處理不了。
就好像下圖,直線無論在平面上如果旋轉,都不可能完全正確的分開三角形和圓形點: