機器學習

計算機利用已有的資料，得出了某種模型，並利用此模型預測未來的一種方法。它是人工智慧領域的一個小分支，如果說AI是一個合集，那麼ML就是AI的子集。任何通過資料訓練的學習演算法的相關研究都屬於機器學習，包括很多已經發展多年的技術，比如線性迴歸（Linear Regression）、logistic迴歸、K均值（K-means，基於原型的目標函式聚類方法）、決策樹（Decision Trees，運用概率分析的一種圖解法）、隨機森林（Random Forest，運用概率分析的一種圖解法）、PCA（Principal Component Analysis，主成分分析）、SVM

（Support Vector Machine，支援向量機）以及ANN（Artificial Neural Networks，人工神經網路）。而人工神經網路則是深度學習的起源。
○ 監督學習：迴歸和分類
○ 無監督學習：聚類
○ 半監督學習
○ 遷移學習
○ 增強學習

深度學習

是機器學習裡面現在比較火的一個topic，本身是神經網路演算法的衍生，在影象識別，語音識別、自然語言處理（NLP）等富媒體的分類和識別上取得了非常好的效果，成功的主要原因是大量可用的資料以及像GPU這樣更強大的計算引擎的出現。下圖是深度學習的一個簡要發展史

第一代神經網路（1958-1969)

○ 1958

年Rosenblatt發明的感知演算法可對輸入的多維資料進行二分類，且能夠使用梯度下降法從訓練樣本中自動學習更新權值。
○ 1962年，該方法被證明為能夠收斂，它的理論與實踐效果引發了第一次神經網路的浪潮；
○ 1969年，美國數學家及AI先驅Minsky在著作中證明感知器本質上是一種線性模型，只能處理線性分類問題，就連最簡單的XOR問題都無法正確分類。這等於直接宣判了感知器的死弄，神經網路的研究也陷入了近20年的停滯。

第二代神經網路（1986-1998）

○ 1986年Hiton發明的MLP的BP演算法，並採用Sigmoid進行非線性對映，有效解決了非線性公類和學習的問題。該方法引發了神經網路的第二次熱潮。
○ 1989

年，Robert Hecht-Nielsen證明了MLP的萬能逼近定理，即對於任何閉區間內的一個連續函式f，都可以用含有一個隱含層的BP網路來逼近。
○ 1989年，LeCun發明了CNN–LeNet，並將其用於數字識別，且取得了較好的成績，不過當時並沒有引起足夠的注意。
○ 1989年以後由於沒有提出特別突出的方法，且神經網路一直缺少相應的嚴格數學理論支援，神經網路的熱潮漸漸冷淡下去。冰點發生在1991年，BP演算法被指出存在梯度消失問題，由於Sigmoid函式的飽和特性，後層梯度本來就小，誤差梯度傳到前層時幾乎為0。
○1997年，LSTM模型被髮明，儘管該模型在序列建模上表現出的特性非常突出，但由於處於神經網路的下坡期，也沒有引起足夠的重視。

統計學習方法的春天（1986-2006）

○ 1986年，決策方法被提出，很快ID3、ID4、CART等改進的決策樹方法相繼出現，這些方法也是符號學習方法的代表。正是由於這些方法的出現，使得統計學習開始進入人們的視野，迎來統計學習方法的春天。
○ 1995年，統計學家Vapnik提出線性SVM。由於它有非常完美的數學理論推導做支撐（統計學與凸優化等），並且非常符合人的直觀感受（最大間隔），更重要的是它線上性分類的問題上取得了當時最好的成績，這使得神經網路更陷入無人問津的境地。
○ 1997年，AdaBoost被提出，該方法是PAC理論在機器學習實踐上的代表，也催生了整合學習這一類方法的誕生，在迴歸和分類任務上取得了非常好的效果。該方法通過一系列的弱分類器整合，達到強分類器的效果。
○ 2000年，Kernel SVM被提出，核化的SVM通過一種巧妙的方法將原空間線性不可分的問題，通過Kernel對映成高維空間的線性可分的問題，成功解決了非線性分類的問題，且分類效果非常好。至此也更加終結了神經網路時代。
○ 2001年，隨機森林被提出，這是整合方法的另一個代表，該方法比AdaBoost能更好地抑制過擬合問題。
○ 2001年，一種新的統一框架—-圖模型被提出，該方法試圖統一機器 學習混的方法，如樸素貝葉斯、SVM、隱馬爾可夫模型等，為各種學習方法提供一個統一的描述框架

第三代神經網路深度學習（2006-至今）

快速發展期（2006-2012）

○ 2006年，深度學習元年。Hiton提出了深層網路訓練中梯度消失問題的解決方案：“無監督訓練對權值進行初始化+有監督訓練微調”。其主要思想是先通過自學習的方法學習到訓練資料的結構，然後在該結構上進行有監督訓練微調。
○ 2011年，ReLU啟用函式被提出，有效抑制梯度消失的問題。
○ 2011年，微軟首次將深度學習應用在語音識別上，取得了重大突破。

爆發期（2012-至今）

○2012年，Hiton課題組首次參加ImageNet影象識別比賽，AlexNet奪得冠軍，並碾壓了第二名（SVM）的分類效能。
○ ….

深度學習三巨頭（閒談）

○ 論資排輩：Hinton>leCun>Bengio
○ hinton經典工作堆成山，門下徒子徒孫遍地，lecun是hinton的postdoc，當年micheal jordan想去hinton門下讀postdoc都被婉拒，而bengio又是jordan的postdoc。
○ 雖說lecun（LeNet5）不是cnn的發明人，但是他是第一個把bp用在cnn上並且完善cnn使得它可以在real application上work的人，也是自98年之後近20年的cnn第一推動者。