1 前言

這個深度學習，其實是來自每週Paper筆記的整理版，即文章的主要內容其實是我對一篇文章的整理，受限於個人水平，可能很多地方會出現理解偏差、或者理解不到位的地方，所以如果發現什麼不對的地方歡迎交流。之前我一直不想發這個博文，因為覺得我水平實在有限，不過現在看來還是不論好壞，拖出來見見光好了。

所以這個系列的博文的主要內容是我每週Paper閱讀的筆記整理，偶爾穿插著一些實驗內容。文章的具體資訊我會放置於末尾，有需要的同學請根據文章題目去尋找原始論文

2 Seq2Seq是什麼

網上有很多關於Seq2Seq的解釋，但是從我的角度來說，我願意把Seq2Seq看做是：
從一個Sequence做某些工作對映到（to）另外一個Sequence的任務

3 RNN Encoder-Decoder 框架

通常來說，在深度學習中，應對這個型別的問題，有一個經典的框架被稱為Encoder-Decoder：
所謂的Encoder，是將輸入的Sequence編碼成為一個固定長度的向量
所謂的Decoder，是根據背景Vector（即Encoder最後輸出的向量）生成一個Token序列，作為輸出的Sequence
這兩部分Sequence的長度可以不一致。

最經典的Encoder-Decoder框架，用的就是RNN，即Encoder是一個RNN，而Decoder也是一個RNN。
這裡面才有極大似然去估計，讓輸入的Seq經過Encoder得到中間向量v，再對映到Decoder的概率最大。

這個Encoder-Decoder的框架很經典，裡面用的RNN(LSTM)也是很經典的，本來想詳細講講的，但是我水平不夠，所以大概也只能講到這裡了。

而本篇文章的Sequence2Sequence的模型就是這個RNN Encoder-Decoder了，關於他的公式，其實都是基本的RNN公式，文章裡講的也不多，有需要的可以直接去閱讀原文。

實驗

實驗部分，其採用了WMT14提供的評測任務，任務要求是英語到法語的翻譯任務
1. 訓練的資料集有12M的句子，包含348M法語詞，和304英語詞
2. 作者選擇了最常用的160000個英文詞和80000個法語詞構造詞典，初次以外的詞語，都表示為UNK
3. 訓練目標如下，S是原語言序列，T是目標語言序列，使得如下式子的概率最大化。並且訓練後的翻譯過程也是如第二個式子所示

評測的標準是一個叫做BLEU的成績，因為我不太關心翻譯任務，所以我就知道越高越好的道理就好了。
而結論就是，這個模型能夠十分接近WMT14的最高分（36.5 37）

討論

這篇文章提出的Sequence2Sequnce模型很簡單，但是藉助於深度學習的魔力，其效果卻十分的出眾。

然而這個模型也正是因為太過簡單，最開始使用的RNN在長句任務上表現不佳，主要表現在RNN在輸入多次後使得最開始的資訊出現了損失，而作為改進使用LSTM，則能夠很好的解決這個問題。
同時，也有使用Attention機制的，去改善長句下的表現，關於這個機制，我會在隨後的筆記中介紹的。

其實，還有一個比較好玩的是，他們發現這個Seq2Seq模型，如果我們把輸入的Seq按照相反的順序輸入，其效能表現還更好（當然作者也不知道為什麼）

總之，這是一個簡單卻很有魔力的模型，之後的工作也主要是基於這個框架，所以也作為筆記的第一篇出來。

完

第一次，寫的比較粗糙，因為明天還要例會，估計之後還會回來再修正下，現在就當佔個坑

文章資訊