一、前述

CNN和RNN幾乎占據著深度學習的半壁江山，所以本文將著重講解CNN+RNN的各種組合方式，以及CNN和RNN的對比。

二、CNN與RNN對比

1、CNN卷積神經網絡與RNN遞歸神經網絡直觀圖

2、相同點：
2.1. 傳統神經網絡的擴展。
2.2. 前向計算產生結果，反向計算模型更新。
2.3. 每層神經網絡橫向可以多個神經元共存,縱向可以有多層神經網絡連接。

3、不同點
3.1. CNN空間擴展，神經元與特征卷積；RNN時間擴展，神經元與多個時間輸出計算
3.2. RNN可以用於描述時間上連續狀態的輸出，有記憶功能，CNN用於靜態輸出
3. 3. CNN高級100+深度，RNN深度有限

三、CNN+RNN組合方式

1. CNN 特征提取，用於RNN語句生成圖片標註。

2. RNN特征提取用於CNN內容分類視頻分類。

3. CNN特征提取用於對話問答圖片問答。

四、具體應用

1、圖片標註

基本思路
目標是產生標註的語句，是一個語句生成的任務，LSTM？
描述的對象大量圖像信息，圖像信息表達，CNN？
CNN網絡中全連接層特征描述圖片，特征與LSTM輸入結合。

具體步驟：

1.1 模型設計－特征提取
全連接層特征用來描述原圖片
LSTM輸入：word＋圖片特征；輸出下一word。

1.2 模型設計－數據準備

1. 圖片CNN特征提取
2. 圖片標註生成Word2Vect 向量
3. 生成訓練數據：圖片特征＋第n單詞向量：第n＋1單詞向量。

1.3 模型訓練：
1. 運用遷移學習，CNN特征，語句特征應用已有模型
2. 最終的輸出模型是LSTM，訓練過程的參數設定：梯度上限(gradient clipping), 學習率調整(adaptivelearning)
3. 訓練時間很長。

1.4 模型運行：

1. CNN特征提取
2. CNN 特征＋語句開頭，單詞逐個預測

2、視頻行為識別 ：

視頻中在發 生什麽？

2.1常用方法總結：

RNN用於CNN特征融合

1. CNN 特征提取

2. LSTM判斷

3. 多次識別結果分析。

不同的特征不同輸出。

或者：所有特征作為一個輸出。

2.2 RNN用於CNN特征篩選＋融合：

1. 並不是所有的視頻 圖像包含確定分類信息

2. RNN用於確定哪些frame 是有用的

3. 對有用的圖像特征 融合。

2.3 RNN用於，目標檢測：

1. CNN直接產生目標候選區

2. LSTM對產生候選區融合（相鄰時刻位置近 似）

3. 確定最終的精確位置。

2.4 多種模型綜合：

競賽／應用中，為了產生最好結果，多采用 多模型ensemble形式。

3、圖片／視頻問答

3.1 問題種類

3.2 圖片問答意義
1. 是對純文本語言問答系統的擴展
2. 圖片理解和語言處理的深度融合
3. 提高人工智能應用範圍－觀察，思考，表達

【深度學習篇】---CNN和RNN結合與對比，實例講解