深度信念網路（DBN）

深度信念網路是一個概率生成模型，與傳統的判別模型的神經網路相對，生成模型是建立一個觀察資料和標籤之間的聯合分佈，對P(Observation|Label)和 P(Label|Observation)都做了評估，而判別模型僅僅而已評估了後者，也就是P(Label|Observation)。
原文：https://blog.csdn.net/a819825294/article/details/53608141 
DBNs由多個限制玻爾茲曼機（Restricted Boltzmann Machines）層組成，一個典型的網路結構如圖1所示。這些網路被“限制”為一個可視層和一個隱層，層間存在連線，但層內的單元間不存在連線。

隱層單元被訓練去捕捉在可視層表現出來的高階資料的相關性。

組成元件：受限玻爾茲曼機（RBM）

借鑑：https://blog.csdn.net/Rainbow0210/article/details/53010694

經典的DBN網路結構

由若干層 RBM 和一層 BP 組成的一種深層神經網路

DBN 在訓練模型的過程中主要分為兩步:

　　第 1 步：分別單獨無監督地訓練每一層 RBM 網路,確保特徵向量對映到不同特徵空間時,都儘可能多地保留特徵資訊;

　　第 2 步：在 DBN 的最後一層設定 BP 網路,接收 RBM 的輸出特徵向量作為它的輸入特徵向量,有監督地訓練實體關係分類器.而且每一層 RBM 網路只能確保自身層內的 權值對該層特徵向量對映達到最優,並不是對整個 DBN 的特徵向量對映達到最優,所以反向傳播網路還將錯誤資訊自頂向下傳播至每一層 RBM,微調整個 DBN 網路.RBM 網路訓練模型的過程可以看作對一個深層 BP 網路權值引數的初始化,使DBN 克服了 BP 網路因隨機初始化權值引數而容易陷入區域性最優和訓練時間長的缺點.

　　上述訓練模型中第一步在深度學習的術語叫做預訓練，第二步叫做微調。最上面有監督學習的那一層，根據具體的應用領域可以換成任何分類器模型。