1. 程式人生 > >深度學習論文閱讀筆記(三)之深度信念網路DBN

深度學習論文閱讀筆記(三)之深度信念網路DBN

想要獲得更多深度學習在NLP方面應用的經典論文、實踐經驗和最新訊息,歡迎關注微信公眾號“DeepLearning_NLP” 或者掃描下方二維碼新增關注。


深度神經網路

   12.《受限波爾茲曼機簡介》

(1)主要內容:主要介紹受限玻爾茲曼機(RBM)的基本模型、學習演算法、引數設定、評估方法、變形演算法等,探討了RBM在未來值得研究的方向。

(2)RBM的基本模型和學習演算法(描述比較清楚):對比散度學習演算法(Gibbs取樣),

(3)RBM引數設定(敘述比較詳細):1)小批量資料處理,將資料集分為既是或者幾百個小的資料集。2)學習速率調整:做權重更新和權重的直方圖,令權重更新量為權重的倍左右。3)權重和偏置的初始值:初始化為正態分佈的隨機數,偏差初始化為0,。4)動量學習率:k初始值為0.5,穩定後取0.9。5)權衰減:取值0.01至0.0001之間任意數。6)隱含層單元個數:

先估算一下用一個好的模型描述一個數據(一個樣本)所需的位元數,用其乘上訓練集容量。基於所得的數,選擇比其低一個數量級的值作為隱元個數。如果訓練資料是高度冗餘的(比如資料集容量非常大),則可以使用更少一些的隱元。

(4)RBM的評估方法:重構誤差,退火式重要性取樣。

(5)基於RBM變形演算法:稀疏RBM,稀疏組RBM,分類RBM,條件RBM。

(6)下一步工作:探索如何提高RBM在無監督學習場景下所提取特徵的辨別能力?在不增加隱單元個數的情況下,只利用RBM能量函式的非引數化形式能否提高其逼近效能?RBM能否用於影象分割、高維資料的聚類、缺失資料的重構等更廣泛的實際應用?

(7)值得注意的地方:

  13.《玻爾茲曼機研究進展》

(1)主要內容:概述了玻爾茲曼機(BM)的相關概念;詳細描述了玻爾茲曼機的學習過程和幾種典型學習演算法。最後指出了玻爾茲曼機中有待進一步研究解決的問題

(2)玻爾茲曼機概述:1)BM是由Hinton和Sejnowski提出的一種隨機遞迴神經網路,可以看作是一種隨機生成的Hopfield網路;樣本分佈服從玻爾茲曼分佈;由二值神經元構成,取值0或1。 2)分類(拓撲結構):一般玻爾茲曼機,半受限玻爾茲曼機,受限玻爾茲曼機。

(3)玻爾茲曼機學習過程(比較詳細):1)預訓練:獲得良好初始值;避免過擬合。2)微調:加快網路訓練速度,避免過擬合。

(4)玻爾茲曼機學習演算法:吉布斯取樣法,平行會火法,變分近似法,隨機近似法,對比離差演算法,持續對比離差演算法,快速對比離差演算法。

(5)深度玻爾茲曼機構建和訓練(比較詳細):

(6)玻爾茲曼機的優點:通過學習建立單元之間的高階相關模型,用基於模型的能量函式中隱單元和可見單元來得到具有更高表示模型的能力,能對複雜層次結構資料進行建模。  缺點是:BM的推理學習演算法過程演算法複雜性過高,無法有效地應用於大規模學習問題。

(7)下一步需要解決的問題:1)如何有效的減少計算複雜性。2)進一步開發新的能有效學習的網路拓撲結構,對現有的模型的拓撲結構進行簡化。3)深入研究DBN結構的特點和規律,將現有的社會網路,稀疏化建模原理以及壓縮感測原理運用與BM中,尋找更好的方法用深結構建立資料的模型。4)探索引數改變對學習效能的影響,尋找特定有效的引數調整規則。5)尋找有效的可拓展的並行學習演算法來訓練深度網路模型。6)將交叉熵,自適應抽樣等技術應用於BM中。

(8)值得注意的地方:

  14.《DEEP BELIEF NETWORKS USING DISCRIMINATIVE FEATURES FOR PHONE RECOGNITION》

(1)主要內容:選擇深度信念網路(DBN)代替傳統的GMM方法,選用網路說話者的自適應特性和區分特性進行電話語音識別。

(2)採用方法:採用深度神經網路進行特徵提取。

(3)特點:1)反向調整時可以用正向計算得出的權重快速準確的估計隱含層節點的狀態。2)每一次都會學到新的特性加入到DBN網路中,值得新的變數約束比以前的更好。

(4)優點:1)對馬爾科夫模型(HMM)的概率估計不需要對輸入資料做詳細的假設和。2)易於多種特性組合,包括連續的和離散的。3)使用更多的資料來約束每一個參量,因為每一個樣本的的輸出都與大量的權重相關聯。   缺點:

(5)結果:區分效果高於目前最好的GMM方法一致,且實現更簡單

(6)下一步工作:採用不同的特徵來優化DBN的引數,以取得更好的效果。

(7)值得注意的地方:

類似的文章:Coustic Modeling Using Deep Belief Networks

與前一篇文章相比的兩個突出點:1)從權值傳遞(直接觀點)和基於能量的觀點(間接觀點),解釋了深度模型建模用於語音建模的有效性。2)給出了深度網路進行語音建模的預訓練和微調的具體過程。

  15.《Convolutional Deep Belief Networks on CIFAR-10》

(1)主要內容:改進深度神經網路而得到卷積深度神經網路,並證明其非常適用於各種影象識別應用。

(2)改進原因:DBN不適合於圖片處理:1)影象時高維度的,當處理大圖片時,DBN不能有效降低圖片的規模和進行計算。2)提取特徵可能會出現圖片任意位置。相比卷積深度神經網路有兩大優勢:1)概率最大池技術-有效降低圖片維數。2)轉移不變性(權值共享)-全域性取樣。

(3)特點:概率最大池技術,轉移不變性技術。

(4)優點:卷積深度神經網路是一種用於提取高維度,複雜資料特徵的高效演算法。  缺點:

(5)結果:

(6)下一步工作:

(7)值得注意的地方:1)本文實驗設計的三層網路,分別用與學習邊緣特性,部分物體,整個物體。2)本文給出卷積深度神經網路建立的詳細過程。

類似文章:《Convolutional Deep Belief Networks on CIFAR-10》 :給出了一個關於卷積深度神經網路的具體應用,詳細敘述了模型建立,引數訓練的具體過程。

  16.《Sparse Feature Learning for Deep Belief Networks》

(1)主要內容:1)提出了一種新的無監督學習演算法,稀疏編碼平衡機(SESM),並從理論和實驗兩個角度與RBM進行對比。2)提出一種新的均衡稀疏編碼方法。3)基於對重構誤差,均方誤差和熵,提出了一種簡單的標準用於比較和選擇不同的無監督學習機;並通過手寫數字影象識別和自然影象塊識別兩個實驗驗證這種方法。

(2)採用方法:稀疏編碼平衡機(SESM)

(3)特點:

(4)優點:   缺點:

(5)結果:取得最好分類效果的機器,往往能在重構誤差和熵之間達到一個最好的平衡。

(6)下一步工作:下一步的工作就是深入探索這種情況出現的原因,找出這兩種策略之間存在的深層次的聯絡。

(7)值得注意的地方: 

     1)無監督學習的兩種方法:(1)損失函式擁有對比項,在訓練過程中逐漸減小;(2)約束內部結構,很好的重構輸入訓練樣本。RBM屬於第一類,對於通道噪聲具有很好的穩定性,可以達到很小的均方誤差和很高的識別率。

     2)解碼/編碼:無監督學習的主要目的是為了使模型更高的代表輸入的資料,以便進一步用於探測,識別,預測和視覺化。無監督學習的最好系統是解碼—編碼結構,原因如下:1)計算速度快,因為在訓練完成之後,程式的計算只需要通過來編碼器來計算輸入。2)通過解碼來重構輸入可以檢查程式是否獲取了輸入的相關特性。一些演算法只有解碼器沒有編碼器,故需要通過馬爾科夫鏈來重構輸入(RBM),需要大量的計算。一些演算法缺少編碼器,需要很多資源來執行優化演算法,以找到程式碼與輸入樣本之間的關係。