深度學習可以用更多的資料或是更好的演算法來提高學習演算法的結果。對於某些應用而言，深度學習在大資料集上的表現比其他機器學習（ML）方法都要好。

效能表現方面，深度學習探索了神經網路的概率空間，與其他工具相比，深度學習演算法更適合無監督和半監督學習，更適合強特徵提取，也更適合於影象識別領域、文字識別領域、語音識別領域等。

為什麼深度學習會如此被熱衷，因為它不以任何損失函式為特徵，也不會被特定公式所限制，這使得該演算法對科學家們更為開放，它能以比其他傳統機器學習工具更好的方式進行使用和擴充套件。

進一步地說，引用 《Deep Learning Book MIT》（免費電子書：http://www.deeplearningbook.org/）這本書上的某個觀點，或許能進一步給出為什麼要從機器學習到深度學習，

1960年後，線性分類器的侷限性開始被認識到，它只能將輸入空間切分為非常簡單的區域，即由一個超平面分離的兩個半區間。對於像影象和語音識別這類問題，需要輸入-輸出函式對輸入的非相關變化（位置的變化，方向變化，光照變化，語音的高音和低音變化）不敏感，而對類別敏感（如白狼和薩摩耶犬）。

在畫素級別，兩張不同的姿態，不同環境下薩摩耶犬的照片會有極大的不同，而同樣的背景，同樣位置的薩摩耶犬和白狼的照片可能非常相似。對直接操作影象畫素的線性分類器或者其他“淺層”分類器可能不容易區分後兩張照片，同時將前兩張放在同一類。這就是為什麼淺層分類器需要好的特徵提取器—有選擇地產生圖片中重要類別資訊的表示，同時對無關資訊如姿態具有不變性—-以解決選擇無關的困境。 

為了讓分類器更強大，可以使用廣義非線性特徵以及核函式方法。但廣義特徵（如高斯核函式）泛華能力差，常規的方法是手動設計好的特徵提取器，而這需要大量工程經驗和領域專家才能完成。如果好的特徵可以使用通過學習的方法自動學習得到，上述問題就可以避免，這是深度學習的核心優勢。

由此可見，深度學習有它強於傳統的機器學習演算法的地方，並且有時候只能用深度學習藉助訓練神經網路來完成某些識別任務。

有了對ML演算法的基本認識後，有助於對深度學習的快速理解，根據 playground.tensorflow.org 給出的一本免費深度學習電子書，再結合相關的paper，可以快速瞭解其中的理論和演算法，包括廣泛使用的幾套神經網路模型，先對這些內容做一個提綱，接下來再有重點的總結。

這本書的組織思路如下：

1.  Perceptrons感知器，這是最簡單的神經網路

2. Sigmoid neurons 

3. The architecture of neural networks

4  A simple network to classify handwritten digits 手寫字分類

對手寫字分類任務中，涉及到深度學習非常重要的引數求解方法：梯度下降學習權重引數；書中給出了原始碼實現。

5 反向傳播演算法（BP）

6 提升神經元學習的方法

7 視覺化地證明：神經網路可以表示任何函式

8 為什麼深度神經網路難以訓練，包括常見的梯度消失問題。

再分析總結幾套常用的神經網路：

特指全連線的神經元結構，並不包含卷積單元或是時間上的關聯。

訓練樣本輸入是連續的序列，且序列的長短不一，比如基於時間的序列：一段連續的語音，一段連續的手寫文字。這些序列比較長，且長度不一，比較難直接的拆分成一個個獨立的樣本來通過DNN/CNN進行訓練。

但是 RNN有致命的缺陷，只能知道記憶短暫的資訊，對於距離相距很遠的資訊記憶能力差。比如我們做完型填空時，可能需要整合全文來填某一個句子，比如 I grew up in China….此處省略一萬字.....I speak fluent _____ . 如果 RNN 只知道鄰近的幾個單詞，可能它會知道此處需要填寫一門語言，但至於應該填什麼，就需要找到更遠前的資訊，直到 找到 China 才行。這種需要尋找相距很遠資訊的情況，實際上非常常見。

它是 RNN 的一種特殊形式，它被廣泛應用在語音識別、語言建模、機器翻譯、為影象起標題。

是深度學習演算法在影象處理領域的一個應用。CNN主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形。

轉自：演算法channel

閱讀夥伴公眾號更多精彩內容，點選 “ 閱讀原文 ”