神經網路與深度學習學習筆記（一）

標籤（空格分隔）： 深度學習

最近在學習復旦邱錫鵬老師的《神經網路與深度學習》，並對書中推薦的論文進行了閱讀。感覺這本書對深度學習講解得很好，即有全面嚴謹的講述，也有高屋建瓴的理解。
本文的行文結構是按邱老師的書籍結構來的，並結合自己的理解總結了書籍中的相關要點，想要對神經網路和深度學習有更好了解的，推薦大家看邱老師寫的《神經網路與深度學習》。

1.1人工智慧

人工智慧就是讓機器具有人類的智慧，阿蘭圖靈給出了一個判斷人工智慧的標準：“如果一個人在不接觸對方的條件下，通過一定途徑與對方進行一系列問答，如在一段較長的時間內，這個人無法判斷對方是人還是計算機，那麼就可以認為該計算機擁有智慧”
人工智慧誕生的標誌是，1956年達特茅斯會議，Jonh對人工智慧做出了定義–“人工智慧就是讓機器的行為看起來就像人表現出的智慧行為一樣”

人工智慧分為以下部分：
感知：智慧系統如何對外界刺激訊號進行感知和處理。其中包括計算機視覺和語音識別
學習：即機器學習，如何從樣例中學習，包括監督學習、非監督學習、強化學習
自然語言處理:自然語言理解和自然語言生成
推理和決策：知識標準，推理規劃，決策

1.1.1人工智慧發展史

推理期：基於邏輯或事實歸納出一套規則，然後編寫程式讓計算機來執行任務。
知識期：基於知識庫和推理機的專家系統
學習期：設計分析一些演算法，讓計算機從資料中自動獲得規律，並利用規律對未知資料進行預測，即機器學習

1.2神經網路

大腦神經網路：由億萬神經元相互連線構成，神經元由細胞體和突觸構成，細胞體有興奮和抑制2種狀態，突觸包括樹突和軸突，樹突可以接受刺激，傳入興奮，軸突可以傳出興奮。突觸就是用來傳遞興奮的。

如果神經元A的突觸離神經元B很近，足以能對其產生影響，並持續重複參與B的興奮，那麼兩個神經元或其中之一就會發送某種生長過程或形成代謝，以至於A能作為能使B興奮的細胞之一,其效能增加。這個機制叫赫布理論。
如果A,B總是相關聯的收到刺激，它們突觸的強度就會增強，這樣的學習叫赫布型學習。

人工神經網路：多個節點連線而成，用來對資料的複雜關係建模，不同節點的連線代表著不同的權重，表示表示一個神經元對另一個神經元的影響大小。每個節點代表一種函式，將其它神經元資訊經過相應權重，綜合計算輸出到啟用函式得到一個活性值（興奮或抑制）。從系統角度看，人工神經網路是大量神經元通過豐富完善的連線構成的自適應非線性系統。

人工神經網路可以看作一個通用的函式逼近器，人工神經網路可以塑造任何函式的能力大小叫做容量，與可以儲存到網路中的資訊的數量和複雜性相關。

1.2.1神經網路發展歷史

一、模型提出：
1943年，Warren和Walter提出MP模型
1948年，圖靈在在論文中描述B型圖靈機，研究人員將赫布型學習的思想應用到B型圖靈機。
1951年，Marvin建造了第一臺神經網路機，叫SNARC
1956年，Rosenblatt提出感知機

二、冰河期：
1969年，Marvin出版《感知機》一書，使神經網路進入冰河期十多年，主要原因是，計算力不足，無法解決異或問題
1974年，Paul 發明反向傳播演算法，但並未受到重視
1980年，Kunihiko提出帶有卷積和子取樣結構的多層神經網路：新知機

三、反向傳播演算法引起復興
1983年，John Hopfield 引入能力函式，並提出用於聯想記憶和優化計算的途徑
1984年，Geoffrey Hinton提出Boltzman機
1986年，David Rumelhart和James McClelland在對連線主義模擬神經活動提出全面論述，並重新發明的反向傳播演算法。
1986年，Geoffrey Hinton將反向傳播引入多層感知機。
1989年，Yann LeCun間反向傳播引入卷積神經網路

四、流行度降低
1995-2006 支援向量機興起，受限計算機效能和資料規模不足，神經網路陷入低潮

五、深度學習崛起
2006年，Hinton發現多層前饋網路可以逐層預訓練，提出深度學習
2012年，深度學習在語音識別和影象分類上取得巨大成功

1.3深度學習

一般機器學習流程包括
資料預處理：去噪音
特徵提取：選特徵
特徵轉換：降維
預測識別：訓練函式用於預測

很多模式識別變成了特徵工程，利用人類經驗來選取特徵

表示學習：自動從輸入中學習有效的特徵
什麼是好的表示：

一、好的表示應該具有很強的表示能力。對比區域性表示和分散式表示。分散式表示就是把特徵分佈到不同子特徵上。
二、好的表示使後續學習任務變簡單。解決語言鴻溝（輸入的低層表示和高層語義之間的差異）
三、一個好的表示應該具有一般性，是任務和領域獨立的。

提供表示能力需要構造一定深度的多層次特徵表示。

深度學習就是如此從資料中學習一個深度模型，讓模型學習好特徵表示，提供預測或識別準確率。

深度學習要解決的問題是貢獻度分配問題。

深度學習的目的是自動從資料中學習有效的特徵。

深度學習相關會議

• 國際表示學習會議（International Conference on Learning Representations， ICLR） ：主要聚焦於深度學習。
• 神經資訊處理系統年會（Annual Conference on Neural Information Processing Systems， NIPS）：交叉學科會議，但偏重於機器學習。主要包括神經資訊處理，統計方法，學習理論以及應用等。

• 國際機器學習會議（International Conference on Machine Learning，ICML）：機器學習頂級會議，深度學習作為近年來的熱點，也佔據了 ICML的 很大比例。
• 國際人工智慧聯合會議（International Joint Conference on Artificial Intelligence，IJCAI）：人工智慧領域最頂尖的綜合性會議。歷史悠久，從1969年開始舉辦，以前每奇數年召開。從2015年開始每年召開。召開時間在七八月份。近年來和深度學習相關的論文也越來越多。
• 美國人工智慧協會年會3（AAAI Conference on Artificial Intelligence，AAAI）：人工智慧領域的頂級會議，每年二月份左右召開,地點一般在北美。和 IJCAI一樣，近年來和深度學習相關的論文也越來越多。

另外，在人工智慧的很好應用方向的子領域都有非常好的專業學術會議。在計算機視覺領域，有計算機視覺與模式識別大會（IEEE Conference on Computer Vision and Pattern Recognition，CVPR）和國際計算機視覺會議（International Comference on Computer Vision，ICCV）。CVPR和ICCV是計算機視覺方面最好會議。在自然語言處理領域，有計算語言學年會（Annual Meeting of the Association for Computational Linguistics， ACL）和自然語言處理實證方法大會（Conference on Empirical Methods in Natural Language Processing，EMNLP）等。