自然語言處理(NLP)是機器學習的應用之一，用於分析、理解和生成自然語言，以便人類與計算機，人類與人類更好的交流。自然語言處理按照任務型別可以分為分類、匹配、翻譯、結構化預測、與序貫決策過程這五類。自然語言處理中的絕大多數問題皆可歸入下圖其中的一個[1]。這為我們學習自然語言處理提供了大的指導方向，讓我們可以心無旁騖的尋找、理解和復現論文。

在近些年自然語言處理髮展的過程中，有如下趨勢[2]：
第一，傳統的基於句法-語義規則的理性主義方法受到質疑，大規模分散式處理真是文字成為自然語言處理的主要戰略目標。
第二，統計數學方法越來越受到重視，自然語言處理中越來越多地使用機器自動學習的方法來獲取語言知識。深度學習一枝獨秀，在很多領域超越傳統機器學習方法，成為state-of-the-art的方法。

實際上，在近年來的自然語言處理方向的頂會上，深度學習也往往佔據了大量的篇幅，自言語言處理方向成為模型與計算能力的較量。本專欄將聚焦深度學習方法在自然語言處理中的應用，給出多種任務的深度學習處理的方法，以期幫助入門者少走彎路，堅定地朝著大牛的方向前進。

本專欄的專案實現語言為Tensorflow。Tensorflow由google團隊開發，神經網路結構的程式碼的簡潔度，分散式深度學習演算法的執行效率，還有部署的便利性使它是當前最火的深度學習框架。Tensorflow對CNN和RNN（LSTM）等常見模型有很好的支援，並且當前計算機視覺和自然語言處理的論文在github上都會有模擬，也為入門tensorflow提供了極大的便利。下圖為Tensorflow與當前主流的深度學習框架對比：

網上關於tensorflow的教程也很多，tensorflow的官方文件寫的很爛，但還是建議入門的同學先通讀完get_started。遇到不懂的函式還是首選官方文件，選擇version>=1.0。因為很多中文翻譯的文件或者網路上的部落格，版本還都停留在1.0之前，很多函式方法都已經進行了更新，所以還是會直接看官方文件進行學習效果更好。

感謝老師給我們寬鬆的學習環境，讓我們研二的幾個人可以學習自己感興趣的知識。所以這學期想找一些例項和競賽來練一下手。根據最近半年學習tensorflow的感受，列出了以下幾個在github上自然語言處理方向優秀的論文專案，並附上我個人對論文及專案的導讀。

總體來說，難度由淺入深，適合初學者入門。大部分專案都會按照論文、專案、和導讀三個部分，首先閱讀論文，其次在github上尋找開源實現，如果其中有不懂的問題就在網上找解決辦法，我想這也是大多數初學者適合的道路。在寫這篇入門例項推薦時，我也會把例項中涉及的程式碼風格進行統一，以方便記憶。目前涉及的模型主要有：

1. Deep Neural Network(DNN)
2. Convolution Neural Network(CNN)
3. Recurrent Neural Network(RNN)以及LSTM
4. Recurrent Convolution Neural Network(RCNN)
5. sequence2sequence(Attention)
6. Hierarchical Attention Networks(HAN)
7. Dynamic Memory Networks(DMN)
8. EntityNetwork

以下是我在剛開本篇專欄時的一些想法，現在看起來仍然覺得很有幫助，如果你對深度學習和自然語言處理方向感興趣，也趕快行動起來吧！

1. 入門簡單，學習有瓶頸。入門Tensorflow確實挺簡單的，按照官方文件進行傻瓜式安裝，然後程式碼一拷，就能跑通最簡單的MNIST手寫數字識別。但是，你會發現MNIST的訓練集和測試集的讀取都是封裝在Tensorflow中的，所以很輕鬆就能得到需要的Tensor。但是，當我們需要自己讀入資料的時候，就會發生各種各樣的問題。所以在寫Tensorflow程式碼解決深度學習的問題時，初學者大部分都把時間花費在資料集的處理方面，而真正使用tensorflow構建網路卻並不是那麼困難。掌握了處理常規資料集的方法以後，我們需要做的就是坐在電腦前面一步一步地調參了。

2. Tensor!Tensor!Tensor! 重要的事情說三遍。從Tensorflow的命名方式可以看出，Tensor在graph中進行流動，以此來進行神經網路的訓練。Tensor可以說是Tensorflow中最重要的概念了，同時也是Tensorflow中最容易出錯的地方了。對資料進行完處理以後，就要作為input輸入到Tensorflow中，在神經網路執行的每一步，都要對Tensor的shape瞭如指掌，否則就一定會出錯！所以這其實還是基本功的問題，強烈建議如果有不明白的就返回模型的原理進行回顧。

廢話就不多講了，判斷一個人有沒有理解一個模型的最簡單的方法，就是看他能不能寫出程式碼，並且講清楚自己的程式碼。因此在以後的文章中，我會貼出自己的程式碼和github地址，重點解析程式碼執行中容易出錯的地方，以及一些深度學習中調參的小trick。

共勉。