1. 程式人生 > >Deep Learning讀書筆記(三):Greedy Layer-Wise Training of Deep Networks

Deep Learning讀書筆記(三):Greedy Layer-Wise Training of Deep Networks

        接下來我們來說明下本篇文章的另一個主要工作,就是處理分類目標與輸入資料的分佈並沒有太大關聯的情況。問題的描述是這樣的,一個分類任務,輸入資料x服從分佈p(x),而分類目標可以表示為y=f(x)+noise,其中p與f並沒有特別明顯的關係。在這種設定下,我們並不能指望無監督學習對模型的學習有特別大的幫助。在這種情況下,我們可以在每一層的訓練時綜合監督型學習演算法和無監督的學習演算法。一種比較簡單的方式就是將對比分歧演算法與梯度下降法相結合,只需要在每一層學習時新增一層假想的輸出層就可以了。試驗表明,我們只需要在網路的第一層的學習時使用這種方法,那麼就能夠將對目標的預測資訊保留在網路中,使其能夠向高層傳播,而不必在每一層的學習時都使用這種方法。