1. 前言

RNN( Recurrent Neural Network 循環(遞歸)神經網絡) 跟人的大腦記憶差不多。我們的任何決定，想法都是根據我們之前已經學到的東西產生的。RNN通過反向傳播和記憶機制，能夠處理任意長度的序列，在架構上比前饋神經網絡更符合生物神經網絡的結構，它的產生也正是為了解決這類問題而應用而生的。今天本文介紹RNN的幾種不同的結構，有1vsN,Nvs1,NvsM等結構。

2. 1vsN RNN結構

輸入只有一個\(X\)，輸出有多個\(y_1,y_2,...,y_t\)

這種1vsN結構的公式為：
\[ h_t=f(UX+Wh_{t-1}+b) \]
\[ y_t=softmax(Vh_t+c) \]

應用場景：

• 從圖像生成文字（image caption），此時輸入的是圖像的特征，而輸出的序列是一段句子。
• 從類別生成語言或音樂等。

3. Nvs1 RNN結構

輸入有多個\(x_1,x_2,...,x_t\)，輸出只有一個\(Y\)

這種1vsN結構的公式為：
\[ h_t=f(Ux_t+Wh_{t-1}+b) \]
\[ Y=softmax(Vh_T+c) \]

應用場景：

• 這種結構通常用來處理序列分類問題。如輸入一段文字判別所屬的類別，輸入一個句子判斷真情感傾向，輸入一段視頻並判斷它的類別等等。

4. NvsM RNN結構

在NvsM裏面我們又可以再細分，如果N=M那就是一一對應的RNN結構

輸入有多個\(x_1,x_2,...,x_t\)，輸出有多個\(y_1,y_2,...,y_t\)

應用場景：

• 這種廣泛的用於序列標註。

另一種是N!=M的RNN結構

輸入有多個\(x_1,x_2,...,x_n\)，輸出有多個\(y_1,y_2,...,y_m\)

如下所示：

應用場景：

• 這種結構廣泛的用於機器翻譯，輸入一個文本，輸出另一種語言的文本。

2. RNN神經網絡模型的不同結構