詳解迴圈神經網路(Recurrent Neural Network)
在文末有關於 RNN 的文章彙總，之前寫的大多是概覽式的模型結構，公式，和一些應用，今天主要放在訓練演算法的推導。
本文結構：
- 模型
- 訓練演算法
- 基於 RNN 的語言模型例子
- 程式碼實現
1. 模型
- 和全連線網路的區別
- 更細緻到向量級的連線圖
- 為什麼迴圈神經網路可以往前看任意多個輸入值
迴圈神經網路種類繁多，今天只看最基本的迴圈神經網路，這個基礎攻克下來，理解拓展形式也不是問題。
首先看它和全連線網路的區別：
下圖是一個全連線網路：
它的隱藏層的值只取決於輸入的 x
而 RNN 的隱藏層的值 s 不僅僅取決於當前這次的輸入 x，還取決於上一次隱藏層的值 s：
這個過程畫成簡圖是這個樣子：
其中，t 是時刻， x 是輸入層， s 是隱藏層， o 是輸出層，矩陣 W 就是隱藏層上一次的值作為這一次的輸入的權重。
上面的簡圖還不能夠說明細節，來看一下更細緻到向量級的連線圖：
Elman and Jordan networks are also known as “simple recurrent networks” (SRN).
其中各變數含義：
輸出層是一個全連線層，它的每個節點都和隱藏層的每個節點相連，
隱藏層是迴圈層。
為什麼迴圈神經網路可以往前看任意多個輸入值呢？
來看下面的公式，即 RNN 的輸出層 o 和 隱藏層 s 的計算方法：
如果反覆把式 2 帶入到式 1，將得到：
這就是原因。
2. 訓練演算法
RNN 的訓練演算法為：BPTT
BPTT 的基本原理和 BP 演算法是一樣的，同樣是三步：
- 前向計算每個神經元的輸出值；
- 反向計算每個神經元的誤差項值，它是誤差函式E對神經元j的加權輸入的偏導數；
- 計算每個權重的梯度。
最後再用隨機梯度下降演算法更新權重。
下面詳細解析各步驟：
1. 前向計算
計算隱藏層 S 以及它的矩陣形式：
注意下圖中，各變數的維度，標在右下角了，
s 的上標代表時刻，下標代表這個向量的第幾個元素。
2. 誤差項的計算
BTPP 演算法就是將第 l 層 t 時刻的誤差值沿兩個方向傳播：
- 一個方向是，傳遞到上一層網路，這部分只和權重矩陣 U 有關；（就相當於把全連線網路旋轉90度來看）
- 另一個是方向是，沿時間線傳遞到初始時刻，這部分只和權重矩陣 W 有關。
如下圖所示：
所以，就是要求這兩個方向的誤差項的公式：
學習資料中式 3 就是將誤差項沿時間反向傳播的演算法，求到了任意時刻k的誤差項
下面是具體的推導過程：
主要就是用了 鏈鎖反應 和 Jacobian 矩陣
其中 s 和 net 的關係如下，有助於理解求導公式：
學習資料中式 4 就是將誤差項傳遞到上一層演算法：
這一步和普通的全連線層的演算法是完全一樣的，具體的推導過程如下：
其中 net 的 l 層 和 l－1 層的關係如下：
BPTT 演算法的最後一步：計算每個權重的梯度
學習資料中式 6 就是計算迴圈層權重矩陣 W 的梯度的公式：
具體的推導過程如下：
和權重矩陣 W 的梯度計算方式一樣，可以得到誤差函式在 t 時刻對權重矩陣 U 的梯度：
3. 基於 RNN 的語言模型例子
我們要用 RNN 做這樣一件事情，每輸入一個詞，迴圈神經網路就輸出截止到目前為止，下一個最可能的詞，如下圖所示：
首先，要把詞表達為向量的形式：
- 建立一個包含所有詞的詞典，每個詞在詞典裡面有一個唯一的編號。
- 任意一個詞都可以用一個N維的one-hot向量來表示。
這種向量化方法，我們就得到了一個高維、稀疏的向量，這之後需要使用一些降維方法，將高維的稀疏向量轉變為低維的稠密向量。
為了輸出 “最可能” 的詞，所以需要計算詞典中每個詞是當前詞的下一個詞的概率，再選擇概率最大的那一個。
因此，神經網路的輸出向量也是一個 N 維向量，向量中的每個元素對應著詞典中相應的詞是下一個詞的概率：
為了讓神經網路輸出概率，就要用到 softmax 層作為輸出層。
softmax函式的定義：
因為和概率的特徵是一樣的，所以可以把它們看做是概率。
例：
計算過程為：
含義就是：
模型預測下一個詞是詞典中第一個詞的概率是 0.03，是詞典中第二個詞的概率是 0.09。
語言模型如何訓練？
把語料轉換成語言模型的訓練資料集，即對輸入 x 和標籤 y 進行向量化，y 也是一個 one-hot 向量
接下來，對概率進行建模，一般用交叉熵誤差函式作為優化目標。
交叉熵誤差函式，其定義如下：
用上面例子就是：
計算過程如下：
有了模型，優化目標，梯度表示式，就可以用梯度下降演算法進行訓練了。
4. 程式碼實現
RNN 的 Python 實現程式碼可以在學習資料中找到。