吳恩達-深度學習筆記《序列模型》
序列模型概覽
**提出：**DNN存在一個缺陷：無法對時間序列上的變化進行建模，然而，樣本出現的時間順序對於自然語言處理、語音識別等應用很重要；RNN解決了樣本的處理在各個時刻獨立的問題，可以對時間序列上的變化進行建模，深度是時間上的長度。神經元的輸出可以在下一個時間戳直接作用到自身。即，某一層某一時刻神經元的輸入，除了上一層神經元在該時刻的輸出外，還有本身在上一時刻的輸出。
缺點：時間軸上的“梯度消失”，為解決這個問題——>長短時記憶單元LSTM：通過門的開關實現時間上記憶功能，防止梯度消失。
RNN的梯度消失、爆炸問題
lstm
LSTM防止梯度彌散和爆炸：LSTM用加和的方式取代了乘積，使得很難出現梯度彌散。但是相應的更大的機率會出現梯度爆炸，但是可以通過給梯度加門限解決這一問題
GRU
相關推薦
吳恩達-深度學習筆記《序列模型》
序列模型概覽 **提出：**DNN存在一個缺陷：無法對時間序列上的變化進行建模，然而，樣本出現的時間順序對於自然語言處理、語音識別等應用很重要；RNN解決了樣本的處理在各個時刻獨立的問題，可以對時間序列上的變化進行建模，深度是時間上的長度。神經元的輸出可以在下
吳恩達深度學習筆記（deeplearning.ai）之循環神經網絡（RNN）（一）
不同的 圖片 存在 最終 一個 har end markdown 輸入 1. RNN 首先思考這樣一個問題：在處理序列學習問題時，為什麽不使用標準的神經網絡（建立多個隱藏層得到最終的輸出）解決，而是提出了RNN這一新概念？ 標準神經網絡如下圖所示： 標準神經網絡在解決序列
吳恩達深度學習筆記（deeplearning.ai）之循環神經網絡（RNN）（二）
blog 如何 這一 累加 soft 學習 測試 接下來 數據 導讀 本節內容介紹如何使用RNN訓練語言模型，並生成新的文本序列。 語言模型（Language model） 通過語言模型，我們可以計算某個特定句子出現的概率是多少，或者說該句子屬於真實句子的概率是多少。正式點
吳恩達深度學習筆記（deeplearning.ai）之循環神經網絡（RNN）（三）
崩潰 body 很難 mark 因此 梯度 處理方法 弊端 原理 1. 導讀 本節內容介紹普通RNN的弊端，從而引入各種變體RNN，主要講述GRU與LSTM的工作原理。 2. 普通RNN的弊端 在NLP中，句子內部以及句子之間可能存在很長的依賴關系（long-term d
吳恩達深度學習筆記 course2 week3 超參數調試,Batch Norm,和程序框架
etc 值範圍 操作 normal 可能 標準 通過 pan 範圍 1.Tuning Process 對超參數的一個調試處理 一般而言,在調試超參數的過程中,我們通常將學習率learning_rate看作是最重要的一個超參數,其次是動量梯度下降因子β(一般為0.9),
吳恩達深度學習筆記（七） —— Batch Normalization
學習 bat 中括號 和平 一個 內容 batch 可能 加權 主要內容： 一.Batch Norm簡介 二.歸一化網絡的激活函數 三.Batch Norm擬合進神經網絡 四.測試時的Batch Norm 一.Batch Norm簡介 1.在機器學習中，我們一般
吳恩達深度學習筆記（八） —— ResNets殘差網絡
con 一個 學習 ets str 帶來 圖片 梯度 就是 （好累……，明日在寫……） 主要內容： 一.殘差網絡簡介 二.identity block 和 convolutional block 一.殘差網絡簡介 1.深度神經網絡很大的一個優點就是能夠表示一個
吳恩達深度學習筆記（3）-神經網路如何實現監督學習？
神經網路的監督學習(Supervised Learning with Neural Networks) 關於神經網路也有很多的種類，考慮到它們的使用效果，有些使用起來恰到好處，但事實表明，到目前幾乎所有由神經網路創造的經濟價值，本質上都離不開一種叫做監督學習的機器學習類別，讓我們舉例看看。
吳恩達深度學習筆記（4）-為什麼深度學習會興起？
為什麼深度學習會興起？(Why is Deep Learning taking off?) 本節視訊主要講了推動深度學習變得如此熱門的主要因素。包括資料規模、計算量及演算法的創新。(3個重點概念！請背書！） 深度學習和神經網路之前的基礎技術理念已經存在大概幾十年了，為什麼它們現在才突
吳恩達深度學習筆記(6)--邏輯迴歸(Logistic Regression)
邏輯迴歸(Logistic Regression) 在這節課中，我們會重溫邏輯迴歸學習演算法，該演算法適用於二分類問題，本節將主要介紹邏輯迴歸的Hypothesis Function（假設函式）。 對於二元分類問題來講，給定一個輸入特徵向量X，它可能對應一張圖片，你想識別這張圖片識
吳恩達深度學習筆記（9）-導數的簡單推導介紹
導數（Derivatives） 這個筆記我主要是想幫你獲得對微積分和導數直觀的理解。 或許你認為自從大學畢以後你再也沒有接觸微積分。 為了高效應用神經網路和深度學習，你並不需要非常深入理解微積分（這個哦，並不需要深入瞭解）。因此如果你觀看這個視訊或者以後的視訊時心想：“哇哦，這些知
吳恩達深度學習筆記（7）--邏輯迴歸的代價函式（Cost Function）
邏輯迴歸的代價函式（Logistic Regression Cost Function） 在上一篇文章中，我們講了邏輯迴歸模型，這裡，我們講邏輯迴歸的代價函式（也翻譯作成本函式）。 吳恩達讓我轉達大家：這一篇有很多公式，做好準備，睜大眼睛！代價函式很重要！ 為什麼需要代價函式： 為
吳恩達深度學習筆記（8）-重點-梯度下降法（Gradient Descent）
梯度下降法（Gradient Descent）（重點） 梯度下降法可以做什麼？ 在你測試集上，通過最小化代價函式（成本函式） J(w,b) 來訓練的引數w和b ， 如圖，在第二行給出和之前一樣的邏輯迴歸演算法的代價函式（成本函式）(上一篇文章已講過） 梯度下降法的形象化
吳恩達深度學習筆記(21)-神經網路的權重初始化為什麼要隨機初始化？
隨機初始化（Random+Initialization） 當你訓練神經網路時，權重隨機初始化是很重要的。 對於邏輯迴歸，把權重初始化為0當然也是可以的。 但是對於一個神經網路，如果你把權重或者引數都初始化為0，那麼梯度下降將不會起作用。 讓我們看看這是為什麼？ 有兩個輸入
吳恩達深度學習筆記(15-21)總結-淺層神經網路總結
恩達老師的這一週的淺層神經網路總結，還是簡單的架構說明，但是還是要仔細讀哦！ 架構分為四部分： 神經網路表示 計算神經網路輸出 啟用函式 神經網路的梯度下降 第一和第二部分： 神經網路表示和計算神經網路輸出部分，由於本部分講的是淺層的網路輸出，所以就是隻有一個隱藏層的神經網路，你也
吳恩達深度學習筆記(22)-深層神經網路說明及前後向傳播實現
深層神經網路（Deep L-layer neural network） 目前為止我們已經學習了只有一個單獨隱藏層的神經網路的正向傳播和反向傳播，還有邏輯迴歸，並且你還學到了向量化，這在隨機初始化權重時是很重要。 目前所要做的是把這些理念集合起來，就可以執行你自己的深度神經網路。
吳恩達深度學習筆記（deeplearning.ai）之卷積神經網路（CNN）（上）
1. Padding 在卷積操作中，過濾器（又稱核）的大小通常為奇數，如3x3，5x5。這樣的好處有兩點： 在特徵圖（二維卷積）中就會存在一箇中心畫素點。有一箇中心畫素點會十分方便，便於指出過濾器的位置。 在沒有padding的情況下，經過卷積操作，輸出的資
吳恩達深度學習筆記(24)-為什麼要使用深度神經網路？
為什麼使用深層表示？（Why deep representations?） 我們都知道深度神經網路能解決好多問題，其實並不需要很大的神經網路，但是得有深度，得有比較多的隱藏層，這是為什麼呢？ 我們一起來看幾個例子來幫助理解，為什麼深度神經網路會很好用。 首先，深度網路在計算什麼？
吳恩達深度學習筆記(25)-如何搭建神經網路模組？如何運算？
搭建神經網路塊（Building blocks of deep neural networks） 你已經看到過正向反向傳播的基礎組成部分了，它們也是深度神經網路的重要組成部分，現在我們來用它們建一個深度神經網路。 這是一個層數較少的神經網路，我們選擇其中一層（方框部分），從這一層的計算
吳恩達深度學習筆記(27)-深度學習與大腦的區別
深度學習和大腦有什麼關聯性嗎？ 回答是：關聯不大。 那麼人們為什麼會說深度學習和大腦相關呢？ 當你在實現一個神經網路的時候，那些公式是你在做的東西，你會做前向傳播、反向傳播、梯度下降法，其實很難表述這些公式具體做了什麼，深度學習像大腦這樣的類比其實是過度簡化了我們的大腦具體在做什麼，