1. 程式人生 > >序列模型(5)-----雙向神經網絡(BRNN)和深層循環神經網絡(Deep RNN)

序列模型(5)-----雙向神經網絡(BRNN)和深層循環神經網絡(Deep RNN)

ima 行處理 是否 進行 lstm 標準 ted 技術 alt

一、雙向循環神經網絡BRNN

采用BRNN原因:

雙向RNN,即可以從過去的時間點獲取記憶,又可以從未來的時間點獲取信息。為什麽要獲取未來的信息呢?

判斷下面句子中Teddy是否是人名,如果只從前面兩個詞是無法得知Teddy是否是人名,如果能有後面的信息就很好判斷了,這就需要用的雙向循環神經網絡。

技術分享圖片

至於網絡單元到底是標準的RNN還是GRU或者是LSTM是沒有關系的,都可以使用。

技術分享圖片

(2)BRNN如下圖所示,每一個輸出都是綜合考慮兩個方向獲得的結果再輸出:

技術分享圖片

(3)LSTM有一個缺點就是在使用時需要完整的數據序列,你才能預測任意位置。比如用來構建語音識別系統,需要人把話說完,才能進行處理。

二、深度循環神經網絡

(1)前面提到的其是都只有RNN的一單元或者說RNN單元只有一層隱藏層,可以想象將多個RNN單元堆疊在一起,那就形成了深度循環神經網絡(deep RNN)。深層循環神經網絡如下圖所示:

技術分享圖片

序列模型(5)-----雙向神經網絡(BRNN)和深層循環神經網絡(Deep RNN)