目錄

1.全連線前饋神經網路（MLP）的應用

大部分情況下，全連線前饋神經網路（MLP）能被用來替代線性學習器。這包括二分類或多分類問題，以及更復雜的結構化預測問題。網路的非線性以及易於整合預訓練詞嵌入的能力經常帶來更高的分類精度。一系列工作通過簡單地將句法分析器中的線性模型替換為全連線前饋神經網路便獲得了更好的句法分析結果。直接將前饋網路用於分類器（通常同時使用預訓練詞向量）為許多語義任務帶來了好處，包括：非常基本的語言模型任務，CCG標註（supertagging），對話狀態跟蹤，統計機器翻譯中的預排序。Iyyer等人【2015】證明多層前饋網路能對情感分類任務和事實型問答帶來富有競爭力的結果。Zhou等人【2015】和Andor等人【2016】將它們與基於柱搜尋（beam-search）的結構化預測系統相結合，在句法分析、序列標註以及其他任務中獲得了很高的準確率。

2.卷積神經網路（CNNs）的應用

具有卷積和池化層的網路對於分類任務非常有用，我們期望從中發現很強的關於類別的區域性線索，這些線索能出現在輸入的不同位置。例如，在文字分類任務中，單一的關鍵短語（或連續的n個詞）能幫助確定文字的主題【Johnson and Zhang，2015】。我們期望學習某些有利於指明主題的單詞序列，不需要關注它們出現在文件中的位置。卷積和池化層允許模型學習到這些區域性指示，忽略它們的位置。卷積和池化結構在許多工中展現了鼓舞人心的結果，包括文字分類、短文字分類、情感分類、實體之間關係型別分類、事件檢測、複述識別、語義角色標註、問答系統、基於影評的電影票房預測、文字趣味性建模以及字元序列和詞性標記之間關係的建模。

3.迴圈和遞迴神經網路（RNNs）的應用

在自然語言中，我們經常與任意長度的結構化資料打交道，例如序列和樹。我們期望能夠獲取這些結構的泛化性，或者建模它們之間的相似性。迴圈和遞迴結構很有效，能夠保留很多結構化資訊。迴圈網路被設計用於對序列進行建模，而遞迴網路是對迴圈網路的泛化，能處理樹。迴圈模型已經在很多工上展示了非常強的效果，包括語言模型、序列標記、機器翻譯、句法分析、噪聲文字規範化、對話狀態跟蹤、反饋生成以及字元序列和詞性標記之間關係的建模。

對於短語結構和依存句法分析的重排序、語篇關係分析、語義關係分類、基於句法分析樹的政治意識形態檢測、情感分類、目標依賴的情感分類以及問答系統，遞迴模型顯示出能獲得目前最好或近似最好的結果。

注:文章內容摘自Yoav Goldberg所著《Neural Network Methods for Natural Language Processing》的中文版《基於深度學習的自然語言處理》chapter 1 Introduction