首先我們明確機器學習的任務：將經典的統計學演化為人工智慧。

經典統計學：

1. 處理低維資料（100維以下）；
   

2. 資料被大量噪聲汙染；
   

3. 資料不存在複雜的結構形式，一般可以用非常簡單的模型建模；
   

4. 主要問題是從噪聲中尋找到真實的資料結構。
   

人工智慧：

1. 處理高維資料（100維以上）；
   

2. 如果處理方法正確的話，噪聲不足以影響資料的結構形式；
   

3. 資料中存在非常複雜的結構形式，不可能用簡單的模型予以表示；
   

4. 主要問題是通過學習尋找到一種可以表示資料複雜結構的方法。
   

第一代神經網路

感知器（~1960年），具有一層手動編碼特徵的網路，試圖通過對特徵的加權識別物體。

第二代神經網路

後向傳播誤差（~1985）的引入使得多層複雜神經網路的實現成為可能

Vapnik和他的同事開發了一種非常聰明的感知器，稱為支援向量機。20世紀90年代，由於支援向量機工作效能較好，許多研究者放棄了具有多個自適應隱藏層的神經網路。這在某個方面直接導致神經網路的發展停滯不前。

後向傳播雖然解決了多層神經網路中隱藏層的輸出誤差計算問題，但也帶來了新問題。

1. 它要求幾乎所有的訓練資料都進行標識；
   

2. 當具有多個隱藏層時，學習速度可能會很慢；
   

3. 有可能收斂到很差的區域性最優點。
   

深度信念網路也許是解決以上問題的一種可行方案。

信念網路是由隨機變數組成的有向非迴圈圖。

我們通過觀察其中的一些變數，以解決以下兩個問題：

1. 推斷問題：推斷未觀測變數的狀態；
   

2. 學習問題：調整變數之間的相互作用關係，使得網路更有可能產生觀測資料。
   

Deep Belief Nets下載地址：

更多精彩文章請關注微訊號：