迴圈序列模型

為什麼選擇序列模型

在語音識別、音樂生成、情感分類、DNA序列分析、機器翻譯、視訊識別、命名實體識別等任務中，共同特點是輸入X和/或輸出Y都是序列。

數學符號

例如，對於命名實體識別的問題：

• 對於輸入序列，用$x^{<1>},x^{<2>},...,x^{<t>},...,x^{<9>}$來表示，其中$x^{<t>}$表示$t$位置的單詞。
• 對於輸出序列用$y^{<1>},y^{<2>},...,y^{<9>}$來表示。
• $T_x$表示輸入序列長度，$T_y$表示輸出序列長度，在本例中$T_x=T_y=9$。
• $x^{(i)<t>}$表示第$i$個樣本輸入的第$t$個位置的值，$T_x^{(i)}$表示第$i$個訓練樣本的輸入序列長度。
• $y^{(i)<t>}$表示第$i$個樣本的輸出第$t$個位置的值，$T_y^{(i)}$表示第$i$個訓練樣本的輸出序列長度。

怎樣表現句子裡的某一個單詞：

one-hot編碼：在詞典中，該詞的編碼為1，其餘位置編碼為0，形成該詞的向量。

迴圈神經網路模型

無法選擇標準的神經網路的原因：

• 在不同的樣本中，輸入輸出長度都是可變的。
• 不共享跨文字不同位置學習的功能。

迴圈神經網路RNN

在每一個時間步中，迴圈神經網路傳遞一個啟用值到下一個時間步中，用於計算。對於零時刻，則輸入一個零向量（或者隨機初始化的）作為偽啟用值。
迴圈神經網路是從左往右掃描資料，同時每個時間步的引數也是共享的。
限制：在某一時刻的預測僅僅使用了序列中之前的輸入資訊，而沒有使用該時刻之後的輸入資訊。（解決方法：雙向迴圈神經網路BRNN）

RNN前向傳播過程如下：

其中，$w_{ax}$表示與$X$相乘的用來計算$a$的權重，同理，$w_{ya}$表示與$a$相乘的用來計算$y$的權重。

穿越時間的反向傳播

不同型別的迴圈神經網路

結構：
多對一：如文字輸入
一對多：如音樂生成、序列生成等（輸入一個數字等或空，輸出一段·音樂）
多對多：如機器翻譯，輸入和輸出的長度不同，因此網路分為編碼器和解碼器兩個部分。

語言模型和序列生成

訓練語料：大的英文文字 。
預處理：
- 將句子標記化（tokenize）
- 將每個單詞轉化成one-hot編碼，在句子結尾加上$<EOS>$標記。
- 對於訓練集中不在字典中的詞，用$<UNK>$代替。

RNN model

對新序列取樣

即對詞的概率分佈進行取樣，來生成一個新的單詞序列。

帶有神經網路的梯度消失

存在的問題：
RNN從左到右前向傳播，由於梯度消失的原因，後面層的輸出誤差很難影響到前面層的計算。
梯度爆炸：採用梯度修剪的方法。
梯度消失則比較棘手（下一節GRU單元）

GRU單元

GRU(Gated Recurrent Unit)門控迴圈單元，通過改變RNN的隱藏層，使其能捕捉深層連線，並改善梯度消失的問題。

$$\tilde{c}^{<t>}=tanh(W_c[c^{<t-1>},X^{<t>}]+b_c)$$
$$\Gamma_u=\sigma(W_u[c^{<t-1>},X^{<t>}]+b_u)$$

用$\tilde{c}^{<t>}$計算記憶細胞$c$的更新值，用$\Gamma_u$來判斷是否需要更新。

相關推薦

【Coursera】吳恩達 deeplearning.ai 05.序列模型 第一週 迴圈序列模型 課程筆記

迴圈序列模型 為什麼選擇序列模型 在語音識別、音樂生成、情感分類、DNA序列分析、機器翻譯、視訊識別、命名實體識別等任務中，共同特點是輸入X和/或輸出Y都是序列。 數學符號 例如，對於命名實體識別的問題： 對於輸入序列，用 x&l

【Coursera】吳恩達 deeplearning.ai 04.卷積神經網路 第二週 深度卷積神經網路 課程筆記

深度卷積神經網路 2.1 為什麼要進行例項化 實際上，在計算機視覺任務中表現良好的神經網路框架，往往也適用於其他任務。 2.2 經典網路 LeNet-5 AlexNet VGG LeNet-5 主要針對灰度影象 隨著神經網路的加深

吳恩達-DeepLearning.ai-05 序列模型（一）

吳恩達-DeepLearning.ai-05 序列模型 迴圈序列模型 1、為什麼選擇序列模型？ 舉了幾個例子：語音識別、音樂生成、情感分析、DNA序列分析、機器翻譯、視訊動作識別、命名實體識別等 2、數學符號 文字資料的表示：命名實體識別中，要識別的內容標籤為1，其他為

【吳恩達deeplearning.ai】深度學習(9)：迴圈神經網路

隨深度學習技術的發展，使用迴圈神經網路（Recurrent Neural Network，RNN）建立的各種序列模型，使語音識別、機器翻譯及自然語言理解等應用成為可能。 表示與型別 自然語言、音訊等資料都是前後相互關聯的資料，比如理解一句話要通過一整句而

【吳恩達deeplearning.ai筆記二】通俗講解神經網路上

神經網路（Neural Network）的構築理念是受到生物神經網路功能的運作啟發而產生的。人工神經網路通常是通過一個基於數學統計學型別的學習方法得以優化，所以人工神經網路也是數學統計學方法的一種實際應用。和其他機器學習方法一樣，神經網路已經被用於解決各種各樣的問題，例如機器

Coursera 吳恩達DeepLearning.AI 第五課 sequence model 序列模型 第一週 Improvise a Jazz Solo with an LSTM Network

We have taken care of the preprocessing of the musical data to render it in terms of musical "values." You can informally think of each "value" as a note,

Coursera 吳恩達DeepLearning.AI 第五課 sequence model 序列模型 第二週 Emofify

這個Emojify裡最坑的一個就是，avg初始化的時候一定要是 (50,) ，如果你用(word_to_vec_map["a"]).shape 就死活過不了。Emojify!Welcome to the second assignment of Week 2. You are going to use wor

吳恩達 DeepLearning.ai 課程提煉筆記（4-2）卷積神經網絡 --- 深度卷積模型

mes and shift abd actual 應用 比賽 特征 通道 1. 經典的卷積網絡 介紹幾種經典的卷積神經網絡結構，分別是LeNet、AlexNet、VGGNet。 LeNet-5： LeNet-5主要是針對灰度設計的，所以其輸入較小，為 ，其結構如下：

吳恩達Deeplearning.ai 知識點梳理（course 5，week 3）

  本週主要講了多種sequence to sequence結構，包括conditional language model，beam searching，bleu，attention，speech recognition，以及trigger word detec

【轉】吳恩達新書《Machine Learning Yearning》翻譯連載_1

轉載 微信公眾號 “頂級程式設計師”  1. 為什麼要學習機器學習策略？ 機器學習眾多重要應用的基礎，包括搜尋引擎、垃圾郵件過濾、語音識別、商品推薦等。假設你或者你的團隊正在做機器學習應用專案，同時你想獲得快速進步。你可以從這本書中找到滿意的答案。 示例：建立一個識

吳恩達DeepLearning.ai《深度學習》課程筆記目錄總集

本文釋出在知乎的專欄中，為了方便習慣使用CSDN的使用者，更改了下面文章的直鏈到CSDN中的筆記。 同時，也歡迎大家關注我的知乎：大樹先生，會不定期有新的乾貨更新。一起學習一起進步呀！^_^ DeepLearning.ai簡介 deepLearning.

【轉】吳恩達的視訊課程做成了文字版 ~~~

ML 機器學習課程地址： https://www.coursera.org/course/ml 筆記地址： http://www.ai-start.com/ml2014/ DL 深度學習課程地址： https://mooc.study.163.com/univer

吳恩達DeepLearning.ai筆記（5-1）-- 迴圈序列模型

吳恩達DeepLearning.ai筆記（5-1）– 迴圈序列模型 1.一些序列資料例子 2.數學符號 x<1>x<1>輸入序列X第一個單詞，TixTxi輸入序列X的單詞個數，X（i）<t>X（i）&l

吳恩達deeplearning.ai第四課學習心得：卷積神經網路與計算機視覺

不久前，Coursera 上放出了吳恩達 deeplearning.ai 的第四門課程《卷積神經網路》。本文是加拿大國家銀行首席分析師 Ryan Shrott 在完成該課程後所寫的學習心得，有助於大家直觀地瞭解、學習計算機視覺。 我最近在 Coursera 上完成了吳恩達教授的計算機視覺課程。吳恩達

吳恩達Deeplearning.ai 第五課 Sequence Model 第一週------Deep RNNs

這一節主要講解了深度RNN網路的結構。 左邊是在一般的神經網路中DNN的結構，由輸入經過多層網路最終得到輸出 與此類似，Deep RNN也有類似的結構，之前的RNN網路都只是一層，如圖畫出了三層。 用a[l]<t>來表示第l層激勵的第t個t

吳恩達deeplearning.ai五項課程完整筆記了解一下？

來源：機器之心本文共3744字，建議閱讀8分鐘。通過本文為大家解讀如何構建自然語言、音訊和其他序

吳恩達DeepLearning.ai系列課後程式設計題實踐總結week3

# -*- coding: utf-8 -*- """ Created on Sun Sep 24 09:09:10 2017 @author: Jay """ import numpy as np import matplotlib.pyplot as p

心得丨吳恩達Deeplearning.ai 全部課程學習心得分享

選自Medium作者：Ryan Shrott    機器之心編譯 本文作者，加拿大國家銀行首席分析師 Ryan Shrott 完成了迄今為止（2017 年 10 月 25 日）吳恩達在 Coursera 上釋出的所有深度學習課程，併為我們提供了課程解讀。 目前 Coursera 上可用的課程中，

吳恩達Deeplearning.ai 第五課 Sequence Model 第一週------Sampling novel sequence

這一節主要講了如何從一個訓練好的RNN中進行取樣得到序列 從訓練好的RNN中取樣出一個序列 之前在序列產生中講到，首先RNN輸入a<0>(0向量)和x<1>(0向量)，通過一個RNN cell產生一個輸出y。 y = softm

吳恩達deeplearning.ai課程系列筆記05（下）

#寫在最前，deeplearning.ai系列課程相較於之前的Andrew Ng在coursera上2014釋出的機器學習課程內容更加豐富。 重要的是此次課程示例程式碼都是用python來實現，不需要去熟悉octave，對大部分需要用python來學習機器學習的同學來說