吳恩達DeepLearning.ai筆記（5-1）– 迴圈序列模型

1.一些序列資料例子

2.數學符號

x<1>$x^{<1>}$輸入序列X第一個單詞，Tix$T_x^i$輸入序列X的單詞個數，X（i）<t>$X^{（i）<t>}$第i個輸入序列的第t個單詞

• one-hot表示法
  

3.迴圈神經網路模型

• 為什麼不使用傳統的神經網路？

  1. 輸入和輸出資料在不同例子中可以有不同長度，即Tx$T_x$和Ty$T_y$ 在每個例子中不一定相同；
  2. 從文字不同位置學到的特徵不能共享，舉例來說已經識別出位置x1$x^1$出現的Herry是人名的一部分，那麼Herry出現在其他位置上，例如位置
     xt$x^t$也是Herry，我們希望它能自動識別出該位置也為人名的一部分。

• 迴圈神經網路（RNN）

• RNN兩種表示圖例，RNN的限制是在某一時刻的預測僅使用了序列之前的輸入資訊，沒有使用序列後面的資訊
  

• RNN前向傳播
  
  

  a<t>=g1(waaa<t−1>+waxx<t>+ba)$$a^{<t>}=g_1(w_{aa}{a}^{<t-1>}+w_{ax}{x}^{<t>}+b_a)$$y^<t>=g2(wyaa<t>+by)$${\hat{y}}^{<t>}=g_2(w_{ya}{a}^{<t>}+b_y)$$
  啟用函式g1$g_1$可以是tanh也可以是Relu,g2$g_2$
  如果是二分類選擇sigmoid函式，多分類可以用softmax。
• 簡化RNN符號
  
• 通過時間反向傳播
  
  
  損失函式
  L<t>(y^<t>,y<t>)=−y<t>logy^<t>−(1−y<t>)log(1−y^<t>)$L^{<t>}({\hat{y}}^{<t>},y^{<t>})=-y^{<t>}log{\hat{y}}^{<t>}-(1-y^{<t>})log(1-{\hat{y}}^{<t>})$L(y^,y)=∑Tyt=1L<t>(y^<t>,y<t>)$L(\stackrel{}{y}$
  ^,y)=∑t=1TyL<t>(y^<t>,y<t>)

4.不同型別的迴圈神經網路

　　分為以下五種型別

一對一：傳統的神經網路 一對多：音樂生成 多對一：情感分類 多對多（Tx=Ty$T_x=T_y$）：命名實體識別 多對多（T_x！=T_y）：機器翻譯

5.語言模型和序列生成

• 什麼是語言模型
  
  　　語言模型所做的就是它會告訴你某個特定的句子出現的概率是多少，它是語音識別系統和機器翻譯系統的基本組成部分。語言模型做的基本工作是輸入文字序列(y<1>,y<2>...y<

  相關推薦

  吳恩達DeepLearning.ai筆記（5-1）-- 迴圈序列模型

  吳恩達DeepLearning.ai筆記（5-1）– 迴圈序列模型 1.一些序列資料例子 2.數學符號 x<1>x<1>輸入序列X第一個單詞，TixTxi輸入序列X的單詞個數，X（i）<t>X（i）&l

  吳恩達DeepLearning.ai筆記（1-4）-- 深層神經網路

  神經網路和深度學習—深層神經網路1.深度網路中的前向傳播2. 核對矩陣的維度DNN結構示意圖如圖所示：對於第L層神經網路，單個樣本其各個引數的矩陣維度為：W[l]：(n[l],n[l−1])b[l]：(n[l],1)dW[l]：(n[l],n[l−1])db[l]：(n[l]

  吳恩達Coursera深度學習（5-1）遞迴神經網路 RNN

  Class 5：序列模型 Sequence Models Week 1：迴圈神經網路 RNN（Recurrent） 目錄 本課程將教你如何建立自然語言，音訊和其他序列資料的模型。 由於深入的學習，序列演算法的執行速度遠遠超過兩年前，這

  吳恩達Coursera深度學習課程 DeepLearning.ai 提煉筆記（5-1）-- 迴圈神經網路

  Ng最後一課釋出了，撒花！以下為吳恩達老師 DeepLearning.ai 課程專案中，第五部分《序列模型》第一週課程“迴圈神經網路”關鍵點的筆記。 同時我在知乎上開設了關於機器學習深度學習的專欄收錄下面的筆記，以方便大家在移動端的學習。歡迎關

  吳恩達機器學習筆記（5）—— 神經網路

  本教程將教大家如何快速簡單的搭起一個自己的部落格，並不會系統的教會你如何建站，但是可以讓掌握建站的基礎對以後web學習有一定的幫助。 購買一個域名 域名就相當於地址，我們就是通過域名來訪問我們的網站，現在萬網和騰訊雲都有廉價域名賣，首年大概1-5元一年吧。

  【吳恩達deeplearning.ai筆記二】通俗講解神經網路上

  神經網路（Neural Network）的構築理念是受到生物神經網路功能的運作啟發而產生的。人工神經網路通常是通過一個基於數學統計學型別的學習方法得以優化，所以人工神經網路也是數學統計學方法的一種實際應用。和其他機器學習方法一樣，神經網路已經被用於解決各種各樣的問題，例如機器

  吳恩達機器學習筆記（week 8）----聚類

  宣告：本文只用於學習交流，若不慎侵權，請及時聯絡我，立即予以刪除 一  聚類  監督學習與無監督學習 從上面可以看出，監督學習中training資料帶有標籤y，而無監督學習中training資料則沒有標籤y 2.  K-means 演算法 以下是該演算法的圖形演

  吳恩達機器學習筆記（十五）

  原創部落格，轉載請註明出處！ 1、目標I ：資料壓縮 開始談論第二種型別的無監督學習問題，稱為降維。有幾個不同的的原因使你可能想要做降維。一是資料壓縮，後面我們會看了一些視訊後，資料壓縮不僅允許我們壓縮資料，因而使用較少的計算機記憶體或磁碟空間，它還能讓我們加快我們的學習演算法。 假設我

  吳恩達機器學習筆記（十二）-支援向量機

  第十三章 支援向量機（SVM）優化目標支援向量機在學習複雜的非線性方程時能夠提供一種更為清晰個更加強大的方式。    先回顧一下邏輯迴歸的相關概念，看如何進行改動可以得到支援向量機。邏輯迴歸的假設函式為

  【吳恩達deeplearning.ai】深度學習(9)：迴圈神經網路

  隨深度學習技術的發展，使用迴圈神經網路（Recurrent Neural Network，RNN）建立的各種序列模型，使語音識別、機器翻譯及自然語言理解等應用成為可能。 表示與型別 自然語言、音訊等資料都是前後相互關聯的資料，比如理解一句話要通過一整句而

  吳恩達機器學習筆記（十六）-推薦系統

  第十七章推薦系統問題規劃    這一章中將討論推薦系統的有關內容，它是在機器學習中的一個重要應用。    機器學習領域的一個偉大思想：對於某些問題，有一些演算法可以自動地學習一系列合適的特徵，比起手動設

  吳恩達Coursera深度學習（4-1）程式設計練習

  Class 4：卷積神經網路 Week 1：卷積神經網路基礎 目錄 1、CNN: Step by Step （1）卷積層 （2）池化層 import numpy as np import matplotlib.py

  吳恩達 DeepLearning.ai 課程提煉筆記（4-2）卷積神經網絡 --- 深度卷積模型

  mes and shift abd actual 應用 比賽 特征 通道 1. 經典的卷積網絡 介紹幾種經典的卷積神經網絡結構，分別是LeNet、AlexNet、VGGNet。 LeNet-5： LeNet-5主要是針對灰度設計的，所以其輸入較小，為 ，其結構如下：

  吳恩達深度學習筆記（deeplearning.ai）之循環神經網絡（RNN）（一）

  不同的 圖片 存在 最終 一個 har end markdown 輸入 1. RNN 首先思考這樣一個問題：在處理序列學習問題時，為什麽不使用標準的神經網絡（建立多個隱藏層得到最終的輸出）解決，而是提出了RNN這一新概念？ 標準神經網絡如下圖所示： 標準神經網絡在解決序列

  吳恩達深度學習筆記（deeplearning.ai）之循環神經網絡（RNN）（二）

  blog 如何 這一 累加 soft 學習 測試 接下來 數據 導讀 本節內容介紹如何使用RNN訓練語言模型，並生成新的文本序列。 語言模型（Language model） 通過語言模型，我們可以計算某個特定句子出現的概率是多少，或者說該句子屬於真實句子的概率是多少。正式點

  吳恩達深度學習筆記（deeplearning.ai）之循環神經網絡（RNN）（三）

  崩潰 body 很難 mark 因此 梯度 處理方法 弊端 原理 1. 導讀 本節內容介紹普通RNN的弊端，從而引入各種變體RNN，主要講述GRU與LSTM的工作原理。 2. 普通RNN的弊端 在NLP中，句子內部以及句子之間可能存在很長的依賴關系（long-term d

  吳恩達深度學習筆記（deeplearning.ai）之卷積神經網路（CNN）（上）

  1. Padding 在卷積操作中，過濾器（又稱核）的大小通常為奇數，如3x3，5x5。這樣的好處有兩點： 在特徵圖（二維卷積）中就會存在一箇中心畫素點。有一箇中心畫素點會十分方便，便於指出過濾器的位置。 在沒有padding的情況下，經過卷積操作，輸出的資

  吳恩達Deeplearning.ai 知識點梳理（course 5，week 3）

    本週主要講了多種sequence to sequence結構，包括conditional language model，beam searching，bleu，attention，speech recognition，以及trigger word detec

  吳恩達deeplearning.ai課程系列筆記05（下）

  #寫在最前，deeplearning.ai系列課程相較於之前的Andrew Ng在coursera上2014釋出的機器學習課程內容更加豐富。 重要的是此次課程示例程式碼都是用python來實現，不需要去熟悉octave，對大部分需要用python來學習機器學習的同學來說

  吳恩達deeplearning.ai課程《改善深層神經網路：超引數除錯、正則化以及優化》____學習筆記（第一週）

  ____tz_zs學習筆記第一週 深度學習的實用層面（Practical aspects of Deep Learning）我們將學習如何有效運作神經網路（超引數調優、如何構建資料以及如何確保優化演算法快速執行）設定ML應用（Setting up your ML applic