1. 程式人生 > >Neural Networks and Deep Learning 整理(三)

Neural Networks and Deep Learning 整理(三)

公式太麻煩,沒寫公式。

交叉熵函式作為代價函式

        用求導推理說明了這樣比二次代價函式(方差的形式)要更好一些,即導數和(y-a)成正比。

        一開始期望值和輸出的差別越大,下降的速度越快。

交叉熵來自於資訊理論。

 

柔性最大值函式(softmax)  柔性最大值層的輸出可以被看做是一個概率分佈。

對數似然代價函式

train-data    validation-data  test-data  過擬合問題

規範化:

權重衰減

Dropout

更好的演算法和更好的資料集