1. 前向傳播

$a^{t}=g^{(a)}(W_{aa}a^{<t-1>}+W_{ax}x^{<t>}+b_a)$ $\hat y^{<t>}=g^{(y)}(W_{ya}a^{<t>}+b_y)$

Note

1. 一般而言，初始啟用向量為：$a^{<0>}=\vec0$
2. 通常，$g^{(a)}$選擇$tanh$函式（$tanh$函式梯度消失的問題會用其他方式解決），有時也會選用$relu$函式。
3. $\hat y^{<t>}=g^{(y)}(W_{ya}a^{<t>}+b_y)$
   如果是二分類問題，使用$sigmoid$函式，如果是多分類問題，可以使用$softmax$函式。

2. 損失函式

為了進行反向傳播計算，使用梯度下降等方法來更新RNN的引數，我們需要定義一個損失函式，如下： $L(\hat y,y)=\sum^{T_y}_{t=1}L^{<t>}(\hat y^{<t>},y^{<t>})=\sum^{T_y}_{t=1}-(y^{<t>}log(\hat y^{<t>})+(1-y^{<t>})log(1-\hat y^{<t>}))$

3. BPTT

RNN的反向傳播將在後續部分有專門的介紹。