1. 程式人生 > >RNN(Recurrent Neural Networks)和LSTM

RNN(Recurrent Neural Networks)和LSTM

RNN是目前NLP中很火的神經網路,也是需要掌握的一種神經網路。可以在BPNN的基礎上來學習RNN

這裡寫圖片描述

以上是RNN的定時迴圈,
用來處理輸入之間前後關聯的問題。

傳統神經網路並不能做到思考的永續性,這是一個巨大的弊端。而RNN關注於此。

這裡寫圖片描述

RNN可以看作是同一神經網路的多次複製,每個神經網路模組會把訊息傳遞給下一個,以下是迴圈的展開:

這裡寫圖片描述

LSTM是RNN中非常重要的一種變形,幾乎所有的RNN應用都是基於LSTM。