1. 程式人生 > >神經網路優化(初始化權重)

神經網路優化(初始化權重)


使隱藏層飽和了, 跟之前我們說的輸出層飽和問題相似, 對於輸出層,我們用改進的cost函式,比如cross-entropy, 但是對於隱藏層, 我們無法通過cost函式來改進
更好的方法來初始化權重?

因為傳統的初始化權重問題是用標準正態分佈(均值為0,方差為1)隨機初始化的,這其實是存在不合理的部分。

標準正態分佈:

可以看出真實資料的分佈其實是在靠近坡峰的部分,符合正態分佈的。





標準正態分佈:

可以看出真實資料的分佈其實是在靠近坡峰的部分,符合正態分佈的。