RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory)與GRU(Gated Recurrent Unit)都是自然語言處理領域常見的深度學習模型。本文是一個關於這些模型的筆記，依次簡單介紹了RNN, LSTM和GRU。在學習了大量的語言樣本，從而建立一個自然語言的模型之後，可以實現下列兩種功能。

• 可以為一個句子打分，通過分值來評估句子的語法和語義的正確性。這個功能在機器翻譯系統中非常有用。
• 可以造句，能夠模仿樣本中語言的文風造出類似的句子。

RNN

RNN的定義

在傳統的神經網路中，輸入是相互獨立的，但是在RNN中則不是這樣。一條語句可以被視為RNN的一個輸入樣本，句子中的字或者詞之間是有關係的，後面字詞的出現要依賴於前面的字詞。RNN被稱為併發的（recurrent），是因為它以同樣的方式處理句子中的每個字詞，並且對後面字詞的計算依賴於前面的字詞。一個典型的RNN如下圖所示。

圖中左邊是RNN的一個基本模型，右邊是模型展開之後的樣子。展開是為了與輸入樣本匹配。假若輸入時漢語句子，每個句子最長不超過20（包含標點符號），則把模型展開20次。

• xt代表輸入序列中的第t步元素，例如語句中的一個漢字。一般使用一個one-hot向量來表示，向量的長度是訓練所用的漢字的總數（或稱之為字典大小），而唯一為1的向量元素代表當前的漢字。
• st代表第t步的隱藏狀態，其計算公式為st=tanh(Uxt+Wst−1)。也就是說，當前的隱藏狀態由前一個狀態和當前輸入計算得到。考慮每一步隱藏狀態的定義，可以把st視為一塊記憶體，它儲存了之前所有步驟的輸入和隱藏狀態資訊。s−1是初始狀態，被設定為全0。
• ot是第t步的輸出。可以把它看作是對第t+1步的輸入的預測，計算公式為：ot=softmax(Vst)。可以通過比較ot和xt+1之間的誤差來訓練模型。
• U,V,W是RNN的引數，並且在展開之後的每一步中依然保持不變。這就大大減少了RNN中引數的數量。

假設我們要訓練的中文樣本中一共使用了3000個漢字，每個句子中最多包含50個字元，則RNN中每個引數的型別可以定義如下。

• xt∈R3000，第t步的輸入，是一個one-hot向量，代表3000個漢字中的某一個。
• ot∈R3000，第t步的輸出，型別同xt。
• st∈R50，第t步的隱藏狀態，是一個包含50個元素的向量。RNN展開後每一步的隱藏狀態是不同的。
• U∈R50
  ∗3000，在展開後的每一步都是相同的。
• V∈R3000∗50，在展開後的每一步都是相同的。
• W∈R50∗50，在展開後的每一步都是相同的。

其中xt是輸入，U,V,W是引數，st是由輸入和引數計算所得到的隱藏狀態，而ot則是輸出。st和ot的計算公式已經給出，為清晰起見，重新寫出。

• st=tanh(Uxt+Wst−1)
• ot=softmax(Vst)

RNN的訓練

為了訓練網路，必須對其進行訓練。需要計算預測字和輸入字之間的誤差來修改網路中的引數，進而優化模型。使用cross-entropy損失函式來計算誤差。假設輸入文字中有N個字（總字數，N個字中間可能有重複出現的），而字典大小為C，則正確輸入y和預測輸出o之間的總誤差可以用如下的公式來表示。

L(y,o)=−1NΣn∈Nynlogon
訓練的目的是找到合適的U,V,W，使得誤差函式的取值最小。按照深度學習的傳統做法，使用隨機梯度下降法SGD（Stochastic Gradient Descent），也就是要求出誤差函式對U,V,W的偏導數∂L∂U,∂L∂V,∂L∂W。傳統深度學習演算法在對引數求導時，使用了後向傳播（Backpropagation）演算法，但是在RNN中，因為要考慮到時序因素，所以使用的是“經歷時間的後向傳播演算法”，BPTT(Backpropagation Through Time)。下面通過例子展示它與傳統的演算法存在著不同。

為方便描述，在誤差函式L的基礎上，我們重新定義了一個函式。

Et(yt,ot)=−ytlogot
那麼，根據之前的定義，可以知道L和Et之間存在著下述關係。
L=

相關推薦

RNN LSTM與GRU深度學習模型學習筆記

RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory)與GRU(Gated Recurrent Unit)都是自然語言處理領域常見的深度學習模型。本文是一個關於這些模型的筆記，依次簡單介紹了RNN,

深度學習與自然語言處理(7)_斯坦福cs224d 語言模型，RNN，LSTM與GRU

說明：本文為斯坦福大學CS224d課程的中文版內容筆記，已得到斯坦福大學課程@Richard Socher教授的授權翻譯與發表 1.語言模型 語言模型用於對特定序列的一系列詞彙的出現概率進行計算。一個長度為m的詞彙序列{w1,…,wm}的聯合概率被表示為

臺灣大學深度學習課程 學習筆記 Lecture 5-1: Gated RNN（LSTM與GRU介紹）

Review RNN 假設現在有3個sequence表示為 x1、x2、x3，設定的初始化向量 h0 ；將 x1 與h0放入function f 中，得到 y1 與 h1，h1是和h0 維度一樣的；把 x2 與 h1 放入與之前一樣的 f 中

寫給程式設計師的機器學習入門 (五) - 遞迴模型 RNN，LSTM 與 GRU

## 遞迴模型的應用場景 在前面的文章中我們看到的多層線性模型能處理的輸入數量是固定的，如果一個模型能接收兩個輸入那麼你就不能給它傳一個或者三個。而有時候我們需要根據數量不一定的輸入來預測輸出，例如文字就是數量不一定的輸入，“這部片非常好看” 有 7 個字，“這部片很無聊” 有 6 個字，如果我們想根據文字

《統計學習方法（李航）》邏輯斯蒂迴歸與最大熵模型學習筆記

作者：jliang https://blog.csdn.net/jliang3   1.重點歸納 1）線性迴歸 （1）是確定兩種或以上變數間相互依賴的定量關係的一種統計分析方法。 （2）模型：y=wx+b （3）誤差函式： （4）常見求解方法 最小

記憶網路RNN、LSTM與GRU

一般的神經網路輸入和輸出的維度大小都是固定的，針對序列型別（尤其是變長的序列）的輸入或輸出資料束手無策。RNN通過採用具有記憶的隱含層單元解決了序列資料的訓練問題。LSTM、GRU屬於RNN的改進，解決了RNN中梯度消失爆炸的問題，屬於序列資料訓練的常

深度學習中的序列模型演變及學習筆記（含RNN/LSTM/GRU/Seq2Seq/Attention機制）

【說在前面】本人部落格新手一枚，象牙塔的老白，職業場的小白。以下內容僅為個人見解，歡迎批評指正，不喜勿噴！[認真看圖][認真看圖] 【補充說明】深度學習中的序列模型已經廣泛應用於自然語言處理（例如機器翻譯等）、語音識別、序列生成、序列分析等眾多領域！ 【再說一句】本文主要介紹深度學習中序列模型的演變路徑，和往

機器學習與深度學習系列連載： 第二部分 深度學習（十四）迴圈神經網路 2（Gated RNN - LSTM ）

迴圈神經網路 2（Gated RNN - LSTM ） simple RNN 具有梯度消失或者梯度爆炸的特點，所以，在實際應用中，帶有門限的RNN模型變種（Gated RNN）起著至關重要的作用，下面我們來進行介紹： LSTM (Long Short-term Memory )

[TensorFlow深度學習深入]實戰三·分別使用DNN,CNN與RNN(LSTM)做文字情感分析(機器如何讀懂人心)

[TensorFlow深度學習深入]實戰三·使用Word2Vec與RNN(LSTM)做文字情感分析(機器如何讀懂人心) 用到了 DNN CNN Word2Vec RNN(LSTM) 不太清楚的可以回顧我們之前的博文。 使用了全連線,卷積神經網路與迴

深度學習：迴圈神經網路（RNN）的變體LSTM、GRU

訪問請移步至，這裡有能“擊穿”平行宇宙的亂序並行位元組流… 假設我們試著去預測“I grew up in France… I speak fluent French”最後的詞French。當前的資訊建議下一個詞可能是一種語言的名字，但是如果我們需要弄清楚是什麼

【深度學習篇】---CNN和RNN結合與對比，實例講解

開頭 問答 16px 結合 觀察 反向 -c style 圖像 一、前述 CNN和RNN幾乎占據著深度學習的半壁江山，所以本文將著重講解CNN+RNN的各種組合方式，以及CNN和RNN的對比。 二、CNN與RNN對比 1、CNN卷積神經網絡與RNN遞歸神經網絡直觀圖

######好好好，本質#####基於LSTM搭建一個文字情感分類的深度學習模型:準確率往往有95%以上

基於情感詞典的文字情感分類 傳統的基於情感詞典的文字情感分類，是對人的記憶和判斷思維的最簡單的模擬，如上圖。我們首先通過學習來記憶一些基本詞彙，如否定詞語有“不”，積極詞語有“喜歡”、“愛”，消極詞語有“討厭”、“恨”等，從而在大腦中形成一個基本的語料庫。然後，我們再對輸入的句子進行最直接

線性模型，線性迴歸，對數機率迴歸(Logistic regression)的理解與推導(深度學習前戲( ╯□╰ ))

對數機率迴歸（logistic regression），有時候會譯為邏輯迴歸(音譯)，其實是我們把迴歸模型應用到分類問題時，線性迴歸的一種變形，主要是針對二分類提出的。既然是線性迴歸的一種變形，那麼在理解對數機率迴歸時，我們先來了解一下什麼是線性迴歸。 1.線性迴歸 1. 1線性方程

深度學習模型壓縮與加速演算法之SqueezeNet和ShuffleNet

自從AlexNet一舉奪得ILSVRC 2012 ImageNet影象分類競賽的冠軍後，卷積神經網路（CNN）的熱潮便席捲了整個計算機視覺領域。CNN模型火速替代了傳統人工設計（hand-crafted）特徵和分類器，不僅提供了一種端到端的處理方法，還大幅度地重新整理了各個影

深度學習模型壓縮與加速 綜述

遷移學習：將一個模型的效能遷移到另一個模型上 網路精餾：在同一個域上遷移學習的一種特例。 [2006,Bucila,SIGKDD]Model Compression  思想：通過整合強分類器標註的偽資料訓練了一個壓縮模型，並再現了原大型網路的輸出結果。 缺點：僅限於淺層網路。 [2014,Hi

深度學習模型壓縮方法（4）-----模型蒸餾（Distilling）與精細模型網路

前言 在前兩章，我們介紹了一些在已有的深度學習模型的基礎上，直接對其進行壓縮的方法，包括核的稀疏化，和模型的裁剪兩個方面的內容，其中核的稀疏化可能需要一些稀疏計算庫的支援，其加速的效果可能受到頻寬、稀疏度等很多因素的制約；而模型的裁剪方法則比較簡單明瞭，直接在原有的模型上剔

[TensorFlow深度學習入門]實戰十·用RNN(LSTM)做時間序列預測（曲線擬合）

[TensorFlow深度學習入門]實戰十·用RNN(LSTM)做時間序列預測（曲線擬合） %matplotlib inline import os os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE" import numpy as np import

[TensorFlow深度學習入門]實戰五·用RNN(LSTM)做手寫數字識別準確率98%+

參考部落格地址，修復了一個小Bug，收斂速度和準確率都略微提升。使用此模型在Kaggle比賽準確率98%+ import os os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE" import time import tensorflow as tf im

文字情感分類---搭建LSTM（深度學習模型）做文字情感分類的程式碼

來源：http://mp.weixin.qq.com/s?__biz=MzA3MDg0MjgxNQ==&mid=2652391534&idx=1&sn=901d5e55971349697e023f196037675d&chksm=84da48

深度學習模型壓縮與優化加速（Model Compression and Acceleration Overview）

1. 簡介 深度學習（Deep Learning）因其計算複雜度或引數冗餘，在一些場景和裝置上限制了相應的模型部署，需要藉助模型壓縮、優化加速、異構計算等方法突破瓶頸。 模型壓縮演算法能夠有效降低引數冗餘，從而減少儲存佔用、通訊頻寬和計算複雜度，有助於深度學習的應用部署，