1、深度學習（Deep Learning）： 是建立在計算機神經網路理論和機器學習理論上的系統科學，它使用建立在複雜的機器結構上的多處理層，結合非線性轉換方法演算法，對高層複雜資料模型進行抽象。 深度學習有兩大要素： （1）資料表示：資料是機器學習的基本要素，也是神經輸入網進行反饋的源頭。資料的表示和建模對深度學習的效能有著很大的影響。目前關於資料表示，有區域性表示、分佈表示和稀疏分佈表示。 （2）特徵提取方法：高斯伯努利模型是特徵模型的範例，用來提取資料特徵。未來的特徵演算法研究將主要集中在自適應的特徵提取和自動編碼機制等方面。在提取特徵的邏輯層方面，經典的有樹結構和圖結構。

2、反向傳播（ BackPropagation ）演算法： （1）定義： BP 神經網路（如圖1）是按誤差逆傳播演算法訓練的多層前饋神經網路，它儲存大量對映模式關係，無需揭示其對映方程。 BP 演算法的核心思想是採用最速下降法（梯度下降法），通過反向傳播除錯網路的權值和閾值，使得其誤差平方和最小。通過數學推導，得出誤差逆傳播演算法的主要特點是：連線權重與學習模式誤差成比例變化。 （2）優缺點： BP 網路所提供的 BP 演算法，有著一定的非線性對映能力、多層前饋網的泛化能力和樣本容錯能力。但是由於其學習速率是固定的，網路的收斂速度很慢，對於複雜問題難以高效解決。其次， BP 演算法可以使權值收斂到某個值，但是不能保證其為誤差平面的最小值，因為梯度下降方法所求的是區域性最小值。同時，隱含層和單元選擇沒有固定的要求，因此會產生一定的冗餘。
3、卷積神經網路（ Convolutional Neural Network ）： CNN 的基本結構包括兩層：其一為特徵提取層，神經元的輸入層與前一層的區域性連線域相連從而提取特徵，提取完畢之後每個特徵也會相互確立穩定的關係。其二是特徵對映層，計算層由特徵對映層組成，每個特徵對映是一個平面，平面上所有神經元共享權值。共享權值的思想也是CNN 的獨特之處。這種雙層特徵提取結構有效提高了特徵的解析度。 4、玻爾茲曼機（Boltzmann Machines）： 一種隨機遞迴神經網路，也可以看做是隨機的 Hopfield 神經網路，因樣本分佈遵循玻爾茲曼分佈。 （ Hopfield神經網路：是一種遞迴神經網路，是一種結合儲存系統和二元系統的神經網路，保證了向區域性極小的收斂，但收斂到錯誤的區域性極小值，而非全域性極小的情況也可能發生。）
5、受限玻爾茲曼機（Restricted Boltzmann Machines）： RBM 是一個雙向概率圖模型，只有可見層節點與隱層節點之間有連線權，可見層節點與可見層節點與隱層節點之間沒有連線權。各層內部神經元之間沒有連線，很大程度上提高了網路訓練與學習的效率。在構造深度置信網路（DBN）時都是先構造出 RBM，再將某些 RBM 堆疊起來得到 DBN。
（ 深度置信網路（Deep Belief Network）：DBN，是神經網路的一種，既可以用於非監督學習，類似於一個自編碼機；也可以用於監督學習，作為分類器來使用。） （ 無監督學習（ Unsupervised Learning）：在未加標籤的資料中，試圖找到隱藏的結構。提供給學習者的例項是未標記的，因此沒有錯誤或報酬訊號來評估潛在的解決方案。） （ 監督學習（ Supervised Learning）：利用一組已知類別的樣本調整分類器的引數，使其達到所要求效能的過程。） （ 分類器（Classifier）： 分類器是資料探勘中對樣本進行分類的方法的統稱，包含決策樹、邏輯迴歸、樸素貝葉斯、神經網路等演算法。） （ 樣本（specimen）：統計學概念，總體中抽取的所要考查的元素總稱，樣本中個體的多少叫樣本容量。） （ 資料探勘（ Data Mining ）：一般是指從大量的資料中通過演算法搜尋隱藏於其中資訊的過程。資料探勘通常與電腦科學有關，並通過統計、線上分析處理、情報檢索、機器學習、專家系統（依靠過去的經驗法則）和模式識別等諸多方法來實現上述目標。） 6、感知器（Perceptron）：它可以被視為一種最簡單形式的前饋式人工神經網路，是一種二元線性分類器。 多層感知器（MLP，Multilayer Perceptron） 將輸入的多個數據集對映到單一的輸出的資料集上。 7、深度神經網路（Deep Neural Network）：DNN， 深度神經網路從結構上講與傳統的多層 感知機 沒有什麼不同，並且在做有 監督學習 時演算法也是一樣的。唯一的不同是這個網路在做有監督學習前要先做非監督學習，然後將非監督學習學到的 權值 當作有監督學習的初值進行訓練。 8、神經網路（Neural Network）： 人工神經網路的簡稱，通過模仿動物神經網路行為特徵，進行分散式並行資訊處理的演算法數學模型。這種網路依靠系統的複雜程度，通過調整內部大量節點之間相互連線的關係，從而達到處理資訊的目的。神經網路的學習是一個過程，在其所處環境的激勵下，相繼給網路輸入一些樣本模式，並按照一定的規則（學習演算法）調整網路各層的權值矩陣，待網路各層權值都收斂到一定值，學習過程結束。然後我們就可以用生成的神經網路來對真實資料做分類。 9、支援向量機（ Support Vector Machine ）： SVM，是常見的一種判別方法。在機器學習領域，是一個有監督的學習模型，通常用來進行模式識別、分類以及迴歸分析。 SVM可以概括為兩點： （1）它是針對線性可分情況進行分析，對於線性不可分的情況，通過使用非線性 對映 演算法將低維輸入空間線性不可分的樣本轉化為 高維 特徵空間使其線性可分，從而使得高維特徵空間採用線性演算法對樣本的非線性特徵進行線性分析成為可能。 （2）它基於結構風險最小化理論之上在特徵空間中構建最優超平面，使得學習器得到全域性最優化，並且在整個樣本空間的期望以某個概率滿足一定上界。