一般的神經網路輸入和輸出的維度大小都是固定的，針對序列型別（尤其是變長的序列）的輸入或輸出資料束手無策。RNN通過採用具有記憶的隱含層單元解決了序列資料的訓練問題。LSTM、GRU屬於RNN的改進，解決了RNN中梯度消失爆炸的問題，屬於序列資料訓練的常用方案。

RNN

結構

傳統的神經網路的輸入和輸出都是確定的，RNN的輸入和輸出都是不確定的sequence資料。其結構如下：

具體地，RNN有隱含層，隱含層也是記憶層，其狀態（權值）會傳遞到下一個狀態中。

訓練

訓練步驟如下：

1. 構建損失函式
2. 求損失函式對權值的梯度
3. 採用梯度下降法更新權值引數

關於損失函式，根據需要選擇構建即可，下面提供兩種常見的損失函式：

關於梯度下降，採用BPTT(Backpropagation through time)演算法，該演算法的核心是對每一個時間戳，計算該時間戳中權重的梯度，然後更新權重。需要注意的是，不同時間戳同樣權重的梯度可能是不一樣的，如下圖所示都減去，相當於更新同一塊記憶體區域中的權重。

應用

• 多對多：詞性標註pos tagging、語音識別、name entity recognition（區分poeple、organizations、places、information extration（區分place of departure、destination、time of departure、time of arrival， other）、機器翻譯
• 多對一：情感分析
• 一對多：caption generation

RNN Variants

RNN的變種大致包含下面3個思路：

• 增加隱含層的輸入引數：例如除了ht−1,xt，還可以包含yt−1作為輸入。
• 增加隱含層的深度
• 雙向RNN

LSTM

結構

• 單個時間戳，RNN輸入1個x，輸出1個y
• 單個時間戳，LSTM輸入4個x，輸出1個y

相比RNN，LSTM的輸入多了3個x，對應3個gate，這3個gate分別是：

• input gate：控制輸入
• forget gate：控制cell
• output gate：控制輸出

涉及到的啟用函式共5個，其中3個控制gate的（通常用sigmoid函式，模擬gate的開閉狀態），1個作用於輸入上，一個作用於cell的輸出上。

LSTM單個時間戳的具體執行如下：

• 輸入：4個輸入x，1個cell的狀態c
• 輸出：1個輸出a，1個更新的cell狀態c′

梯度消失及梯度爆炸

首先，要明白RNN中梯度消失與梯度爆炸的原因：在時間戳的更新中，cell的狀態不斷乘以Whh。簡單起見，視Whh為scalar值w，那麼y=xwn，∂y∂w=nxwn−1。根據w的值與1的大小關係，梯度會消失或者爆炸。

接下來，要明白LSTM如何解決RNN中梯度消失與爆炸的問題。

針對梯度消失，RNN中當獲取c′的梯度後，因為c′=cw，為了backward獲得c的梯度，要將c′的梯度乘以w；LSTM中存在梯度的快速通道，獲取c′的梯度後，因為c′=g(z)f(zi)+cf(zf)，當forget gate開啟時，c′=g(z)f(zi)+c。c′的梯度可以直接傳遞給c。
總結來說，LSTM相比RNN，將c,c′的更新關係從乘法變成了加法，因此不用乘以權值係數w，c′的梯度可以直接傳遞給c，解決了梯度消失的問題。

針對梯度爆炸，即使將c,c′的關係由乘法變成了加法，仍然解決不了梯度爆炸。原因便是梯度的路徑不止一條，如下圖所示，紅色的塊仍然可能造成梯度爆炸。LSTM解決這個問題的方法是clip，也就是設定梯度最大值，超過最大值的按最大值計。

GRU

結構

GRU相比LSTM的3個gate，只用了兩個gate：

• update gate：zt
• reset gate：
  相關推薦

  記憶網路RNN、LSTM與GRU

  一般的神經網路輸入和輸出的維度大小都是固定的，針對序列型別（尤其是變長的序列）的輸入或輸出資料束手無策。RNN通過採用具有記憶的隱含層單元解決了序列資料的訓練問題。LSTM、GRU屬於RNN的改進，解決了RNN中梯度消失爆炸的問題，屬於序列資料訓練的常

  深度學習與自然語言處理(7)_斯坦福cs224d 語言模型，RNN，LSTM與GRU

  說明：本文為斯坦福大學CS224d課程的中文版內容筆記，已得到斯坦福大學課程@Richard Socher教授的授權翻譯與發表 1.語言模型 語言模型用於對特定序列的一系列詞彙的出現概率進行計算。一個長度為m的詞彙序列{w1,…,wm}的聯合概率被表示為

  臺灣大學深度學習課程 學習筆記 Lecture 5-1: Gated RNN（LSTM與GRU介紹）

  Review RNN 假設現在有3個sequence表示為 x1、x2、x3，設定的初始化向量 h0 ；將 x1 與h0放入function f 中，得到 y1 與 h1，h1是和h0 維度一樣的；把 x2 與 h1 放入與之前一樣的 f 中

  寫給程式設計師的機器學習入門 (五) - 遞迴模型 RNN，LSTM 與 GRU

  ## 遞迴模型的應用場景 在前面的文章中我們看到的多層線性模型能處理的輸入數量是固定的，如果一個模型能接收兩個輸入那麼你就不能給它傳一個或者三個。而有時候我們需要根據數量不一定的輸入來預測輸出，例如文字就是數量不一定的輸入，“這部片非常好看” 有 7 個字，“這部片很無聊” 有 6 個字，如果我們想根據文字

  RNN，LSTM和GRU和word2vec及embedding等的聯絡與區別解析。

  普通的MLP和CNN都沒有事件維度，可以從RNN開始引入了事件維度，這在理解上給我們帶來了一些困難，筆者為了避免遺忘，將這種區別和特點記錄如下。 （沒時間畫圖，就看文字吧，寫的比較簡單。。。） 資料 https://zhuanlan.zhihu.com/p/36455374 這

  DL課程：RNN、LSTM、GRU及相關應用案例程式碼

  以下是我的學習筆記，以及總結，如有錯誤之處請不吝賜教。 前面學習了CNN卷積神經網路，本文主要介紹RNN迴圈神經網路及相關升級版。 RNN迴圈神經網路： RNN（Recurrent Neural Network）是一類用於處理序列資料的神經網路。簡單來看，把序列按時間展開結構如下：

  RNN LSTM與GRU深度學習模型學習筆記

  RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory)與GRU(Gated Recurrent Unit)都是自然語言處理領域常見的深度學習模型。本文是一個關於這些模型的筆記，依次簡單介紹了RNN,

  keras RNN、LSTM對IMDB資料集進行分類

  本文介紹如何基於keras採用RNN和LSTM對IMDB資料集進行分類。 示例程式碼： from keras.layers import SimpleRNN from keras.models import Sequential from keras.layers import Embedd

  TensorFlow的序列模型程式碼解釋（RNN、LSTM）

    1、學習單步的RNN：RNNCell、BasicRNNCell、BasicLSTMCell、LSTMCell、GRUCell （1）RNNCell 如果要學習TensorFlow中的RNN，第一站應該就是去了解“RNNCell”，它是TensorFlow中實現RNN的基本單元，每個RNNC

  RNN、LSTM、Seq2Seq、Attention、Teacher forcing、Skip thought模型總結

  RNN RNN的發源： 單層的神經網路（只有一個細胞，f(wx+b)，只有輸入，沒有輸出和hidden state） 多個神經細胞（增加細胞個數和hidden state，hidden是f(wx+b)，但是依然沒有輸出） 這裡RNN同時和當前的輸入有關係，並且是上一層的輸出有關係。 初步

  TensorFlow自然語言處理篇--------遞迴（迴圈）神經網路RNN（LSTM模型）

  歡迎點選參觀我的 ——> 個人學習網站 （未完待續） 準備工作 我們將會訓練一個RNN用於語言方面，目標是給出一系列單詞，然後預測下一個單詞。為此，我們使用專門衡量這些模型好壞的標準資料：PTB資料。它的資料量比較小並且訓練起來相對較快。

  CS231n-2017 Assignment3 RNN、LSTM、風格遷移

  一、RNN 所需完成的步驟記錄在RNN_Captioning.ipynb檔案中。 本例中所用的資料為Microsoft於2014年釋出的COCO資料集。該資料集中和影象標註想拐的圖片包含80000張訓練圖片和40000張驗證圖片。而這些圖片的特徵已通過VGG-16網路獲得，儲存在tr

  【計算機網路基礎概念】5網路設計、佈線與測試

  目錄 一、網路設計與佈線 1、網路綜合佈線系統 1. 綜合佈線系統 2. 綜合佈線系統的必要性 3. 綜合佈線系統的特點 2、綜合佈線系統標準 1. 標準分類 2. 綜合佈線標準要點 3. 綜合佈線系統組成 3、網 絡 測 試 1. Ping命令的使用

  （三）基礎網路演進、分類與定位的權衡

  轉載自知乎：https://zhuanlan.zhihu.com/p/34142321關於作者： @李家丞同濟大學數學系本科在讀，現為格靈深瞳演算法部實習生。-----------------------------------------------------------

  深度學習四：從迴圈神經網路入手學習LSTM及GRU

  # 迴圈神經網路 ## 簡介 **迴圈神經網路（Recurrent Neural Networks， RNN）** 是一類用於處理序列資料的神經網路。之前的說的卷積神經網路是專門用於處理網格化資料（例如一個影象）的神經網路，而迴圈神經網路專門用於處理序列資料（例如$x^{(1)},x^{(2)},···,

  長短期記憶網路（LSTM）的基礎知識、邏輯結構、實際物理結構

  一、LSTM的基礎知識 輸入層：(batch_size, time_steps, input_dim) LSTM輸入層的維度是3 （1）batch_size：量級——每次訓練輪次（batch）中資料量大小 （2）time_steps：時間維度——每個訓練批次（batch）中單個輸入資

  RNN、GRU、LSTM

  版權宣告：本文為博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/weixin_42432468 學習心得： 1、每週的視訊課程看一到兩遍 2、做筆記 3、做每週的作業練習，這個裡面的含金量非常高。掌握後一定要自己敲一遍，這樣以後用起來才能得心應手。

  機器學習與Tensorflow（5）——迴圈神經網路、長短時記憶網路

    1.迴圈神經網路的標準模型 前饋神經網路能夠用來建立資料之間的對映關係，但是不能用來分析過去訊號的時間依賴關係，而且要求輸入樣本的長度固定 迴圈神經網路是一種在前饋神經網路中增加了分虧連結的神經網路，能夠產生對過去資料的記憶狀態，所以可以用於對序列資料的處理，並建立不同時段資料之間

  【深度學習】6：RNN遞迴神經網路原理、與MNIST資料集實現數字識別

  前言：自己學習研究完CNN卷積神經網路後，很久的一段時間因為要完成自己的畢業設計就把更新部落格給耽擱了。瞎忙了這麼久，還是要把之前留的補上來。因為“種一棵樹最好的時間是在十年前，其次就是現在！” –—-—-—-—-—-—-—-—-—-—-—-—–—-—-—-—

  長短期記憶網路（Long Short-Term Memory，LSTM）及其變體雙向LSTM和GRU

  LSTM（Long Short-Term Memory）長短期記憶網路，是一種時間遞迴神經網路，適合於處理和預測時間序列中間隔和延遲相對較長的重要事件。LSTM是解決迴圈神經網路RNN結構中存在的“梯度消失”問題而提出的，是一種特殊的迴圈神經網路。最常見的一個例子就是：當我們