原文：連結

建議先看第一個

一，經典的RNN結構如下圖所示：

假設我們的時間序列只有三段，  為給定值，神經元沒有啟用函式，則RNN最簡單的前向傳播過程如下：

假設在t=3時刻，損失函式為  。

則對於一次訓練任務的損失函式為  ，即每一時刻損失值的累加。

使用隨機梯度下降法訓練RNN其實就是對  、  、  以及  求偏導，並不斷調整它們以使L儘可能達到最小的過程。

二，現在假設我們我們的時間序列只有三段，t1，t2，t3。

我們只對t3時刻的  求偏導（其他時刻類似）：

可以看出對於  求偏導並沒有長期依賴，但是對於  求偏導，會隨著時間序列產生長期依賴。因為 

根據上述求偏導的過程，我們可以得出任意時刻對  求偏導的公式：

 （覺得k應該從k=1開始）

任意時刻對 求偏導的公式同上。

三，如果加上啟用函式，  ，

其中tanh' = [0,1]

這裡的，其中

啟用函式tanh和它的導數影象如下。

1）由上圖可以看出 ，對於訓練過程大部分情況下tanh的導數是小於1的，只有當 ，此時導數等於1；

2）如果  也是一個大於0小於1的值，則當t很大時,使得tanh' * W_s < 1

就會趨近於0，和 (0.9*0.8)^50趨近與0是一個道理。

3）同理當  很大時，具體指（比如tanh' = 0.1，而

就會趨近於無窮，這就是RNN中梯度消失和爆炸的原因。

至於怎麼避免這種現象，讓我在看看  梯度消失和爆炸的根本原因就是  這一坨，要消除這種情況就需要把這一坨在求偏導的過程中去掉，至於怎麼去掉，一種辦法就是使  另一種辦法就是使  。其實這就是LSTM做的事情，至於細節問題我在LSTM如何解決梯度消失問題這篇文章中給出了介紹。

總結：

梯度消失：一句話，RNN梯度消失是因為啟用函式tanh函式的倒數在0到1之間，反向傳播時更新前面時刻的引數時，當引數W初始化為小於1的數，則多個(tanh函式’ * W)相乘，將導致求得的偏導極小（小於1的數連乘），從而導致梯度消失。

梯度爆炸：當引數初始化為足夠大，使得tanh函式的倒數乘以W大於1，則將導致偏導極大（大於1的數連乘），從而導致梯度爆炸。