神經網路和深度學習第二週6-10學習筆記

6.更多導數的例子

在本節中，為上一節的導數學習提供更多的例子。在上一節中，我們複習了線性函式的求導方法，其導數值在各點中是相等的。本節以y=a^2這一二次函式為例，介紹了導數值在各點處發生變化時的求導方法。求導大家都會，y=x ^3的導數是3x ^2,y=x ^2的導數是2x，y=lnx的導數是1/x。這裡不做贅述。

7.計算圖

一個神經網路的計算，都是按照前向或反向傳播過程組織的。前向傳播過程就是從輸入到輸出的過程，將輸入通過計算得到輸出值。而後向傳播一般用來計算導數值，或者說是計算出輸出對應的各個神經元中值的梯度。在這節舉一個由輸入正向計算出輸出值的例子。

設有一個三元函式J(a,b,c)=3(a+bc),要完成該計算需要進行三個步驟，分別是u=bc,v=a+u,J=wv。將這三步填入上圖的計算圖中，藍線的傳遞方向即為正向傳播方向。將b,c值代入u第一個方框，計算u值為6，再將a,u值代入第二個方框計算出v值為11，最後將v值代入第三個方框計算出J值為33。這就是一個簡單的正向傳播的計算過程舉例。圖中的藍線為反向傳播過程，將在下一節中進行介紹。

8.使用計算圖求導數

上一節介紹的是一個簡單的正向傳播過程，這一節我們對上一張配圖中的藍線過程——反向傳播過程進行舉例。我們將通過這個反向過程計算出J的各級導數。因為大家對求導都十分熟悉，這裡就不以極限的形式具體展開每一步的詳細求導過程了。根據三個方框圖，我們可以很容易地計算出J對v的導數，v對於u的導數，u對於b的導數，分別為： $\frac{d}{}$

J d v = 3 \frac{d J}{d v}=3 $\frac{d}{}$

v d u = 1 \frac{d v}{d u}=1 $\frac{d u}{d b}=c=2$ 根據鏈導法則： $\frac{\partial J}{\partial b}=\frac{d J}{d v}*\frac{d v}{d u}*\frac{d u}{d b}=6$ ,同理可得出： $\frac{\partial J}{\partial c}=\frac{d J}{d v}*\frac{d v}{d u}*\frac{d u}{d b}=9$
這是一個計算流程圖，就是正向過程可以計算來計算成本函式J，如果想要優化某個函式，然後反向從右到左計算導數，對各個引數進行優化。

9.邏輯迴歸中的梯度下降

本節我們主要學習瞭如何通過計算偏導數來實現邏輯迴歸的梯度下降演算法。

回顧

首先我們先來複習一下邏輯迴歸的公式，
$\widehat{y}=\sigma (z)=a$
$\sigma (z)=\frac{1}{1+e^{z}}$
$z=w^{T}+b$
損失函式 $L(\widehat{y}^{(i)},y^{(i)})=-y^{(i)}*\log\widehat{y}^{(i)}-(1-y^{(i)})*\log(1-\widehat{y}^{(i)})$
其中a是邏輯迴歸的輸出，y是樣本的實際值。

梯度下降法

本節討論的單一樣本的梯度下降法應用，所以單一樣本的損失函式為 $L(\widehat{y}^{(i)},y^{(i)})=-y*\log(a)-(1-y)*\log(1-a)$

梯度下降法的目的是為了使邏輯迴歸的代價函式最小化，我們需要做的僅僅是修改w引數和b引數的值。自然而然地可以想出我們要對L(a,y)求導，最終目的是求出其對於w,b的導數。我們首先要做的就是求出L(a,y)對於a,z的導數，過程如下
$da=\frac{dL}{da}=-\frac{y}{a}+\frac{1-y}{1-a}$
$dz=\frac{dL}{dz}=\frac{dL}{da}*\frac{da}{dz}=a-y$
$db=\frac{dL}{db}=a-y$
$dw1=x1*dz$

在計算完成了導數之後，我們接下來需要做的就是一次次更新w1=w1- $\alpha$*w1,w2=w2- $\alpha$*w2,b=b- $\alpha$*b

在本節中我們學習了怎樣計算導數，並且實現針了對單個訓練樣本的邏輯迴歸的梯度下降演算法。

10. m 個樣本的梯度下降

在上一節中我們學習瞭如何針對單個訓練樣本的邏輯迴歸的梯度下降演算法，本節中我們將梯度下降演算法用於多樣本中。
損失函式的公式為：
$ J ( w , b ) = 1 m ∗ ∑ i = 1 m L ( a ( i 相關推薦 吳恩達第一門-神經網路和深度學習第二週6-10學習筆記 神經網路和深度學習第二週6-10學習筆記 6.更多導數的例子 在本節中，為上一節的導數學習提供更多的例子。在上一節中，我們複習了線性函式的求導方法，其導數值在各點中是相等的。本節以y=a^2這一二次函式為例，介紹了導數值在各點處發生變化時的求導方法。求導大家都會，y=x ^3的導數是 吳恩達第一門-神經網路和深度學習第三週6-10學習筆記 吳恩達第一門-神經網路和深度學習第三週6-10學習筆記 3.6啟用函式 啟用函式 圖中給出了前面課程中所學到的利用神經網路計算輸出值的具體步驟。其中的 σ 吳恩達 改善深層神經網路：超引數除錯、正則化以及優化 第一週 吳恩達 改善深層神經網路：超引數除錯、正則化以及優化 課程筆記  第一週 深度學習裡面的實用層面 1.1 測試集/訓練集/開發集        原始的機器學習裡面訓練集，測試集和開發集一般按照6:2:2的比例來進行劃分。但是傳統的機器學習 Deeplearning-吳恩達-卷積神經網路-第一週作業01-Convolution Networks(python) Convolutional Neural Networks: Step by StepWelcome to Course 4's first assignment! In this assignment, you will implement convolutional ( 吳恩達實驗（神經網絡和深度學習）第一課第三周，代碼和數據集，親測可運行 HR tps size nac www cond -c 自己 c-c 代碼和數據集已上傳到文件中 應該可以直接下載吧（第一次上傳文件，感覺是），解壓後把文件夾拷貝到jupyter工作空間即可 註：我對下載的代碼的格式稍作了修改，原來定義函數與調用函數在兩個單元格裏，我直 吳恩達卷積神經網路——深度卷積網路：例項探究 經典網路 LeNet5 隨著網路的加深，影象的高度和寬度在縮小，通道數量增加 池化後使用sigmoid函式 AlexNet 與LeNet相似，但大得多 使用ReLu函式 VGG-16 網路大，但結構並不複雜 影象縮小的比例和通道增加的比例是有規律的 64-> 吳恩達卷積神經網路——卷積神經網路 計算機視覺 相關問題： 1）影象分類： 2）目標檢測： 3）影象風格遷移： 挑戰：資料輸入可能會非常大 輸入10001000的彩色影象，則需要輸入的資料量為100010003 =3M，這意味著特徵向量X的維度高達3M ，如果在第一隱藏層有1000個神經元，使用標準全連線，那麼權值矩 吳恩達改善深層神經網路引數：超引數除錯、正則化以及優化——優化演算法 機器學習的應用是一個高度依賴經驗的過程，伴隨著大量的迭代過程，你需要訓練大量的模型才能找到合適的那個，優化演算法能夠幫助你快速訓練模型。 難點：機器學習沒有在大資料發揮最大的作用，我們可以利用巨大的資料集來訓練網路，但是在大資料下訓練網路速度很慢； 使用快速的優化演算法大大提高效率 Coursera 深度學習 deep learning.ai 吳恩達 神經網路和深度學習 第一課 第二週 程式設計作業 Python Basics with Numpy Python Basics with Numpy (optional assignment) Welcome to your first assignment. This exercise gives you a brief introduction to P 【學習日記】吳恩達深度學習工程師微專業第一課：神經網路和深度學習 以下內容是我聽吳恩達深度學習微專業第一課做的學習筆記，主要是按自己的理解回答一些問題，並非全部出自課程內容。1. 什麼是神經網路？神經網路是諸多機器學習方法中的一種，受人類大腦工作方式的啟發而發明的。人類大腦的一個神經元通過多個樹突來接收來自不同神經元的訊號，接著細胞核處理訊 Coursera-吳恩達-深度學習-神經網路和深度學習-week1-測驗 本文章內容： Coursera吳恩達深度學習課程，第一課神經網路和深度學習Neural Networks and Deep Learning， 第一週：深度學習引言(Introduction to Deep Learning) 部分的測驗，題目及答案截圖。 正確:ABC 吳恩達Coursera深度學習課程筆記（1-1）神經網路和深度學習-深度學習概論 這系列文章是我在學習吳恩達教授深度學習課程時為了加深自己理解，同時方便後來對內容進行回顧而做的筆記，其中難免有錯誤的理解和不太好的表述方式，歡迎各位大佬指正並提供建議。1、什麼是神經網路               在簡單的從房屋面積預測價格時，神經網路可以理解為將輸入的房屋 吳恩達 神經網路和深度學習 第4周程式設計作業 由於csdn的markdown編輯器及其難用，已將本文轉移至此處NoteThese are my personal programming assignments at the 4th week after studying the course neural-network 吳恩達DeepLearning.ai（神經網路和深度學習） 第二週程式設計作業 轉載於：http://blog.csdn.net/Koala_Tree/article/details/78057033吳恩達Coursera課程 DeepLearning.ai 程式設計作業系列，本文為《神經網路與深度學習》部分的第二週“神經網路基礎”的課程作業（做了無用部分的刪減）。Part 1：Pyth Deeplearning.ai吳恩達筆記之神經網路和深度學習1 Introduction to Deep Learning What is a neural neural network? 當對於房價進行預測時，因為我們知道房子價格是不可能會有負數的，因此我們讓面積小於某個值時，價格始終為零。 其實對於以上這麼一個預測的模型就可以看 Deeplearning.ai吳恩達筆記之神經網路和深度學習3 Shallow Neural Network Neural Networks Overview 同樣，反向傳播過程也分成兩層。第一層是輸出層到隱藏層，第二層是隱藏層到輸入層。其細節部分我們之後再來討論。 Neural Network Representation 吳恩達 神經網路和深度學習 第3周程式設計作業 由於csdn的markdown編輯器及其難用，已將本文轉移至此處NoteThese are my personal programming assignments at the third week after studying the course neural-netwo 吳恩達視訊學習課後作業(01.神經網路和深度學習--week2/assignment2_2) 最近從頭開始學習深度學習，想借此記錄學習過程用於日後複習或者回看，以下是個人見解，如有錯誤請見諒並指出，謝謝。 目的 Assignment2_2作業主要是引導新手從頭開始建一個用邏輯迴歸分類器( classififier, LR)來識別影象中是否有貓。簡單來說，邏輯迴 Coursera deep learning 吳恩達 神經網路和深度學習 第四周 程式設計作業 Building your Deep Neural Network def two_layer_model(X, Y, layers_dims, learning_rate = 0.0075, num_iterations = 3000, print_cost=False):     """     Implements a two-layer neural network 吳恩達《深度學習-神經網路和深度學習》4--深層神經網路 1. 深層神經網路長什麼樣？所謂深層神經網路其實就是含有更多的隱藏層或隱藏層單元的神經網路。2. 前向傳播深層神經網路前向傳播的向量化實現：這裡需要逐層計算每層的z和a，一般只能用for迴圈（從第1層到第L層，輸入層被稱為第0層）3. 如何確定矩陣的維數n[0]是輸入層的特徵 $