轉自：http://blog.csdn.net/zouxy09/article/details/8782018

Deep Learning（深度學習）學習筆記整理系列

作者：Zouxy

version 1.0 2013-04-08

宣告：

1）該Deep Learning的學習系列是整理自網上很大牛和機器學習專家所無私奉獻的資料的。具體引用的資料請看參考文獻。具體的版本宣告也參考原文獻。

2）本文僅供學術交流，非商用。所以每一部分具體的參考資料並沒有詳細對應。如果某部分不小心侵犯了大家的利益，還望海涵，並聯系博主刪除。

3）本人才疏學淺，整理總結的時候難免出錯，還望各位前輩不吝指正，謝謝。

4）閱讀本文需要機器學習、計算機視覺、神經網路等等基礎（如果沒有也沒關係了，沒有就看看，能不能看懂，呵呵）。

5）此屬於第一版本，若有錯誤，還需繼續修正與增刪。還望大家多多指點。大家都共享一點點，一起為祖國科研的推進添磚加瓦（呵呵，好高尚的目標啊）。請聯絡：[email protected]

目錄：

一、概述

二、背景

接上

十、總結與展望

1）Deep learning總結

      深度學習是關於自動學習要建模的資料的潛在（隱含）分佈的多層（複雜）表達的演算法。換句話來說，深度學習演算法自動的提取分類需要的低層次或者高層次特徵。高層次特徵，一是指該特徵可以分級（層次）地依賴其他特徵，例如：對於機器視覺，深度學習演算法從原始影象去學習得到它的一個低層次表達，例如邊緣檢測器，小波濾波器等，然後在這些低層次表達的基礎上再建立表達，例如這些低層次表達的線性或者非線性組合，然後重複這個過程，最後得到一個高層次的表達。

       Deep learning能夠得到更好地表示資料的feature，同時由於模型的層次、引數很多，capacity足夠，因此，模型有能力表示大規模資料，所以對於影象、語音這種特徵不明顯（需要手工設計且很多沒有直觀物理含義）的問題，能夠在大規模訓練資料上取得更好的效果。此外，從模式識別特徵和分類器的角度，deep learning框架將feature和分類器結合到一個框架中，用資料去學習feature，在使用中減少了手工設計feature的巨大工作量（這是目前工業界工程師付出努力最多的方面），因此，不僅僅效果可以更好，而且，使用起來也有很多方便之處，因此，是十分值得關注的一套框架，每個做ML的人都應該關注瞭解一下。

       當然，deep learning本身也不是完美的，也不是解決世間任何ML問題的利器，不應該被放大到一個無所不能的程度。

2）Deep learning未來

       深度學習目前仍有大量工作需要研究。目前的關注點還是從機器學習的領域借鑑一些可以在深度學習使用的方法，特別是降維領域。例如：目前一個工作就是稀疏編碼，通過壓縮感知理論對高維資料進行降維，使得非常少的元素的向量就可以精確的代表原來的高維訊號。另一個例子就是半監督流行學習，通過測量訓練樣本的相似性，將高維資料的這種相似性投影到低維空間。另外一個比較鼓舞人心的方向就是evolutionary programming approaches（遺傳程式設計方法），它可以通過最小化工程能量去進行概念性自適應學習和改變核心架構。

Deep learning還有很多核心的問題需要解決：

（1）對於一個特定的框架，對於多少維的輸入它可以表現得較優（如果是影象，可能是上百萬維）？

（2）對捕捉短時或者長時間的時間依賴，哪種架構才是有效的？

（3）如何對於一個給定的深度學習架構，融合多種感知的資訊？

（4）有什麼正確的機理可以去增強一個給定的深度學習架構，以改進其魯棒性和對扭曲和資料丟失的不變性？

（5）模型方面是否有其他更為有效且有理論依據的深度模型學習演算法？

       探索新的特徵提取模型是值得深入研究的內容。此外有效的可並行訓練演算法也是值得研究的一個方向。當前基於最小批處理的隨機梯度優化演算法很難在多計算機中進行並行訓練。通常辦法是利用圖形處理單元加速學習過程。然而單個機器GPU對大規模資料識別或相似任務資料集並不適用。在深度學習應用拓展方面，如何合理充分利用深度學習在增強傳統學習演算法的效能仍是目前各領域的研究重點。

十一、參考文獻和Deep Learning學習資源（持續更新……）

       先是機器學習領域大牛的微博：@餘凱_西二旗民工；@老師木；@樑斌penny；@張棟_機器學習；@鄧侃；@大資料皮東；@djvu9……

（1）Deep Learning

（2）Deep Learning Methods for Vision

（3）Neural Network for Recognition of Handwritten Digits[Project]

（4）Training a deep autoencoder or a classifier on MNIST digits

（5）Ersatz：deep neural networks in the cloud

（6）Deep Learning

（7）Invited talk "A Tutorial on Deep Learning" by Dr. Kai Yu (餘凱)

（8）CNN - Convolutional neural network class

（9）Yann LeCun's Publications

（10） LeNet-5, convolutional neural networks

（11） Deep Learning 大牛Geoffrey E. Hinton's HomePage

（12）Sparse coding simulation software[Project]

（13）Andrew Ng's homepage

（14）stanford deep learning tutorial

（15）「深度神經網路」（deep neural network）具體是怎樣工作的

（16）A shallow understanding on deep learning

（17）Bengio's Learning Deep Architectures for AI

（18）andrew ng's talk video:

（19）cvpr 2012 tutorial：

（20）Andrew ng清華報告聽後感

（21）Kai Yu：CVPR12 Tutorial on Deep Learning Sparse Coding

（22）Honglak Lee：Deep Learning Methods for Vision

（23）Andrew Ng ：Machine Learning and AI via Brain simulations

（24）Deep Learning 【2,3】

（25）deep learning這件小事……

（26）Yoshua Bengio, U. Montreal：Learning Deep Architectures

（27）Kai Yu：A Tutorial on Deep Learning

（28）Marc'Aurelio Ranzato：NEURAL NETS FOR VISION

（29）Unsupervised feature learning and deep learning

（30）機器學習前沿熱點–Deep Learning

（31）機器學習——深度學習(Deep Learning)

（32）卷積神經網路

（33）淺談Deep Learning的基本思想和方法

（34）深度神經網路

（35）Google的貓臉識別:人工智慧的新突破

（36）餘凱，深度學習-機器學習的新浪潮，Technical News程式天下事

（37）Geoffrey Hinton：UCLTutorial on: Deep Belief Nets

（38）Learning Deep Boltzmann Machines

（39）Efficient Sparse Coding Algorithm

（40）Itamar Arel, Derek C. Rose, and Thomas P. Karnowski： Deep Machine Learning—A New Frontier in Artificial Intelligence Research

（41）Francis Quintal Lauzon：An introduction to deep learning

（42）Tutorial on Deep Learning and Applications

（43）Boltzmann神經網路模型與學習演算法

（44）Deep Learning 和 Knowledge Graph 引爆大資料革命

（45）……