2018-09-16 深度學習發展簡史
機器學習(machine learning, 涵蓋深度學習的一個人工智慧技術領域)是一項改變歷史的技術。
人工智慧領域分化為兩個陣營：其一是規則式(rule-based)方法，其二是神經網路(neural network)方法。
1. 規則式的人工智慧系統有時也稱為符號式系統(symbolic systems)或專家系統。是由於該陣營的研究人員認為，要使人工智慧軟體更好地適應現實世界，必須將相關領域的人類專家的智慧編寫進軟體。他們用一系列寫好的邏輯規則來教導計算機如何思考，如“若X,則Y”。這種方法很適用於簡單且定義明確的遊戲，但是當可能的選擇或運算元目大增時，這種方法就行不通了。
2. “神經網路”陣營則另闢蹊徑，他們不把人腦熟稔的邏輯規則傳授給計算機，而是乾脆在機器上重建人腦。科學研究結果已經得知，動物的智慧只有一個源頭--動物腦部錯綜複雜的神經元網路，於是這個陣營的研究人員決定從根源做起，模仿人腦結構，構建類似生物神經元網路的結構來收發資訊。不同於規則式方法，人工神經元網路的建造者通常不會給人工智慧系統設定決策規則，而只是把某一現象（圖片、國際象棋賽、人聲等）的大量例子輸入人工神經元網路，讓網路從這些資料中學習、識別規律。換言之，神經網路的原則是來自人的干預越少越好。
用以上兩種方法處理某個簡單問題如“辨識一張圖片裡是否有貓”，就可以看出他們的差別。規則式方法確定以“若X,則Y”的邏輯規則來幫助程式做出決策：“若一個圓形物體上方有兩塊三角形，那麼，這張圖片中可能有一隻貓。”
神經網路方法則是把數百萬張標示了“有貓”或“沒有貓”的樣本圖片“喂”給計算機系統，讓他自行從這數百萬張圖片中去辨察哪些特徵和“貓”的標籤最密切相關 。
神經網路從50年代開始至90年代末，一直處於冗長的寒冬期，使得神經網路復活，並讓人工智慧再次復興的，是神經網路系統賴以生存的兩項要素出現的變化，加上一項重大的技術型突破。神經網路需要大量的計算機運算力及資料：大量的資料樣本資料輸入系統，以“訓練”程式去辨識形態，計算機運算力則讓程式得以告訴分析樣本資料。網際網路的崛起帶來了海量的資料 ：文字、影象、視訊和點選、購買的資料等。如此多的資料，成了研究人員手中源源不斷的實驗材料，用來訓練他們構建的人工神經網路。同時，計算機技術的不斷髮展，使得他們的算力越來越強 ，例如，我們現在手中的智慧手機的運算力，甚至比美國國家航天局1969年登月計劃中最先進計算機的運算力還高出幾百萬倍。這兩項變化結合起來，為神經網路法的發展提供了優良的條件。
不過，彼時人工神經網路能做的事情仍然非常有限。複雜問題如果要得出準確的解僱，必須構建很多層的人工神經元，但是神經元層數增加後，研究人員當時還未找到針對新增神經元有效的訓練方法。直到21世紀頭10年的中期，深度學習這項重大技術的突破來了。找到了有效訓練人工神經網路中新增神經元層的方法。效能大增的人工神經網路--現在有了新的名字：“深度學習(deep learning)”。正是這項技術的突破，人工智慧才再次會到聚光燈下。
以深度學習的形式在次回到公眾視野中的神經網路法不僅成功地讓人工智慧回暖，也第一次把人工智慧真正的應用在現實世界中。研究人員、未來學家、科技公司CEO都開始討論人工智慧的巨大潛力：識別人類語言、翻譯檔案、識別影象、預測消費者行為、辨別欺詐行為、批准貸款、開車等 。