深度學習概述

o受限玻爾茲曼機和深度信念網路

oDropout

o處理不平衡的技巧

oSMOTE：合成少數過取樣技術

o神經網路中對成本敏感的學習

深度學習概述

在2006年之前，訓練深度監督前饋神經網路總是失敗的，其主要原因都是導致過度擬合，即訓練錯誤減少，而驗證錯誤增加。

深度網路通常意味著具有多於1個隱藏層的人工神經網路。訓練深層隱藏層需要更多的計算能力，具有更深的深度似乎更好，因為直覺神經元可以使用下面圖層中的神經元完成的工作，從而導致資料的分散式表示。

Bengio 認為隱藏層中的神經元可被看作是其下面的層中的神經元所學到的特徵檢測器（feature detector）。這個結果處於作為一個神經元子集的更好泛化（

而且，由於相同功能所需的計算單元越少，效率就越高，所以更深的架構可以更高效。分散式背後的核心思想是共享統計優勢，將不同架構的元件重用於不同的目的。

深度神經架構是由多個利用非線性操作的層組成的，例如在帶有許多隱藏層的神經網路中。資料集中常常存在各種變化的因素，例如資料各自的性質經常可能獨立地變化。

深度學習演算法可以獲取解釋資料中的統計變化，以及它們如何相互作用以生成我們觀察到的資料型別。較低層次的抽象更直接地與特定的觀察聯絡在一起，另一方面，更高層次的更抽象，因為他們與感知資料的聯絡更加偏遠。

深度架構學習的重點是自動發現從低階特徵到更高級別概念的抽象。演算法可以在不需要手動定義必要抽象的情況下啟用發現這些定義。

資料集中的訓練樣本的多樣性必須至少與測試集中的一樣多，否則演算法就不能一概而論。深度學習方法旨在學習特徵層次結構，將更低層次的特徵組合成更高層次的抽象。

具有大量引數的深度神經網路是非常強大的機器學習系統。但是，過度擬合在深度網路中是一個嚴重的問題。過度擬合是指當驗證錯誤開始增加而訓練錯誤下降時。Dropout是解決這個問題的正則化技術之一，這將在後面討論。

今天，深度學習技術取得成功的最重要因素之一是計算能力的提高。圖形處理單元（GPU）和雲端計算對於將深度學習應用於許多問題至關重要。

雲端計算允許計算機叢集和按需處理，通過並行訓練神經網路來幫助減少計算時間。另一方面，GPU是用於高效能數學計算的專用晶片，加速了矩陣的計算。

在06-07這一年，三篇論文徹底改變了深度學習的學科。他們工作中的關鍵原則是每層都可以通過無監督學習進行預先訓練，一次完成一層。最後，通過誤差反向傳播的監督訓練微調所有層，使得這種通過無監督學習進行的初始化比隨機初始化更好。

受限玻爾茲曼機和深度信念網路

其中有一種無監督演算法是受限玻爾茲曼機（RBM），可用於預訓練深層信念網路。RBM是波爾茲曼機的簡化版本，它的設計靈感來自於統計力學，它可以模擬給定資料集的基本分佈的基於能量的概率，從中可以得出條件分佈。

玻爾茲曼機是隨機處理可見單元和隱藏單元的雙向連線網路。原始資料對應於'可見'神經元和樣本到觀察狀態，而特徵檢測器對應'隱藏'神經元。在波爾茲曼機中，可見神經元為網路和其執行環境提供輸入。訓練過程中，可見神經元被鉗制（設定成定義值，由訓練資料確定）。另一方面，隱藏的神經元可以自由操作。

然而，玻爾茲曼機因為其連通性而非常難以訓練。一個 RBM 限制了連通性從而使得學習變得簡單。在組成二分圖（bipartite graph）的單層中，隱藏單元沒有連線。它的優勢是隱藏單位可以獨立更新，並且與給定的可見狀態平行。

這些網路由確定隱藏/可見狀態概率的能量函式控制。隱藏/可見單位的每個可能的連線結構（ joint configurations ）都有一個由權重和偏差決定的 Hopfield 能量。連線結構的能量由吉布斯取樣優化，它可通過最小化 RBM 的最低能量函式學習引數

原文連結