基本概念

想法：在之後的輸入要把之前的資訊利用起來。W3就相當於對中間資訊進行一個保留。

X和U組合成一個特徵圖，A表示一個記憶單元。

V矩陣相當於對St進行一個全連線的操作。最終的輸出需要通過softmax將向量轉化成概率的形式。RNN最適合做自然語言處理。影象處理上沒有要求前後關聯。

求梯度，每一步都會對前面所有的都進行更新。

遞迴神經網路的問題

RNN的問題：如果輸入的句子非常長例如：200個字，那他會把所有的字記憶下來。那麼離的比較遠的，它的資訊價值是不是沒那麼高！會不會造成一些影響。過長的情況下也會有梯度消失的問題。如果某一步的梯度約等於0，那麼前面與它相連的都會約等於0。

LSTM(長短神經網路)

Ct是指細胞狀態，我們需要永遠更新下去。當前門是遺忘門，決定哪些資訊是需要遺忘的。

當前門是計算要保留的資訊。

Ct是不斷迭代不斷更新的。

完整結構。