第二週 神經網路基礎

打卡（1）

2.1 二分類

在二分分類問題中 目標是訓練處一個分類器，它以圖片（本例中）的特徵向量X作為輸入，來預測輸出的結果標籤y是1還是0，也就是預測圖片中是否有貓。

課程中會用到的數學符號：

• (x,y)$(x,y)$：表示一個單獨的樣本；
• x∈Rnx$x\in R^{n_x}$:表示x是nx$n_x$維的特徵向量；
• y∈$y\in${0, 1} ：標籤y值為0或1；
• 訓練集有m個訓練樣本構成:(x(1),y(1))$(x^{(1)},y^{(1)})$表示樣本一的輸入和輸出；(x(2),y(2))$(x^{(2)},y^{(2)})$表示樣本二的輸入和輸出…(x(m),y(m))$(x^{(m)},y^{(m)})$,這些樣本整個一起就表示訓練集，m表示訓練樣本的個數。
  m=mtrain(訓練集),m=mtest（測試集）$m=m_{train}(訓練集),m=m_{test}（測試集）$；
• 神經網路中構建的輸入矩陣X$X$中，通常行表示樣本數; 列表示特徵維度。
  

2.2 logistic迴歸

（向量w$w$一般預設為列向量，轉置為行向量）
* sigmoid函式的函式值∈$\in${0，1}，且當自變數趨近負無窮大時，函式值趨近為0； 當自變數趨近為正無窮大是，函式值趨近為1.
* 神經網路中，特徵引數向量w$w$和截距b$b$通常看做獨立的引數，不像紅色公式中那樣表達會更好（紅色公式在本課程中不會使用）

2.3 logistic迴歸損失函式

logistic的損失函式是：

−(ylogŷ +(1−y)log(1−ŷ ))$-(ylog\hat{y}+(1-y)log(1-\hat{y}))$ (logistic的損失函式之所以不用12(ŷ −y)2$\frac{1}{2}(\hat{y}-y{)}^2$是因為這個損失函式在使用梯度下降法時可能會產生非凸優化問題)。
* 損失函式適用於單個訓練樣本；而成本函式是基於引數的總成本，在訓練logistic模型時，我們要找到合適的引數w$w$和b$b$，就是找到讓的成本函式J$J$儘可能小的w$w$和b$b$。

打卡（2）

2.4 梯度下降法

通過梯度下降法求解使得成本函式最小的引數向量w$w$和截距b$b$。

* 編寫程式碼時w$w$的對J(w,b)$J(w,b)$的偏微分用dw$d$

w表示，b$b$的偏微分用db$db$表示

2.5 導數

(略）

2.6 更多的導數例子

(略)

2.7 流程圖

* 流程圖是用藍色箭頭畫出來的，從左到右的計算
* 流程圖的導數是用紅色箭頭畫出來的，從右到左

2.8 流程圖的導數計算（反向傳播）

2.9 logistic迴歸中的梯度下降

* "dz"=dlda∗dadz$"dz"=\frac{dl}{da}\ast \frac{da}{dz}$,
其中，
a=σ(z)=11+e−z$a=\sigma (z)=\frac{1}{1+e^{-z}}$
dadz=e

相關推薦

吳恩達深度學習第一課第二週

第二週 神經網路基礎 打卡（1） 2.1 二分類 在二分分類問題中 目標是訓練處一個分類器，它以圖片（本例中）的特徵向量X作為輸入，來預測輸出的結果標籤y是1還是0，也就是預測圖片中是否有貓。 課程中會用到的數學符號： (x,y)(x,y

吳恩達深度學習第一課第四周（深層神經網路）

打卡（1） 4.1 深層神經網路 * 符號約定：輸入層X=a[0],預測值ŷ =a[L]X=a[0],預測值y^=a[L] 打卡（2） 4.2 深層網路中前向傳播 單個樣本：

吳恩達深度學習第一課第三週課後作業

Planar data classification with one hidden layer Welcome to your week 3 programming assignment. It’s time to build your first

吳恩達深度學習第一課第四周課後作業1參考

Building your Deep Neural Network: Step by Step 符號說明 Notation: - Superscript [l]denotes a quantity associated with the lthl

吳恩達深度學習 第一課第三週 bug plt.scatter

error 1： # plt.scatter(X[0,:],X[1,:],c=np.squeeze(Y),s=40,cmap=plt.cm.Spectral) plt.scatter(X[0,

吳恩達深度學習第一課第四周課後作業2參考

Deep Neural Network for Image Classification: Application 深度神經網路應用 When you finish this, you will have finished the last programm

Coursera 深度學習 deep learning.ai 吳恩達 神經網路和深度學習 第一課 第二週 程式設計作業 Python Basics with Numpy

Python Basics with Numpy (optional assignment) Welcome to your first assignment. This exercise gives you a brief introduction to P

吳恩達機器學習課程筆記——第二週

1. 多變數線性迴歸(Linear Regression with Multiple Variables) 也稱為多元線性迴歸，一元就是一個變數，多元就是多個變數，在這裡也可以叫做多個特徵 1.1 多維特徵(Multiple Features) 之前，

吳恩達深度學習課程第二課第一週第一次作業：用神經網路簡單預測結果

# coding: utf-8 # # Initialization # Welcome to the first assignment of "Improving Deep Neural Networks". # # Training your neural

吳恩達深度學習課程第一課第二週課程作業

學過吳恩達的Machine Learning課程，現在跟著學深度學習，本來是想付費的，奈何搞半天付款沒有成功，沒辦法只能下載資料集自己搞了。由於門外漢，安裝工具軟體加上完成作業花了一天時間，其實第二週的作業和機器學習課程基本是一樣的，沒有什麼太大難度，都是初級入

吳恩達深度學習第二課第三週作業：識別手勢

# coding: utf-8 # # TensorFlow Tutorial # # Welcome to this week's programming assignment. Until now, you've always used numpy t

吳恩達深度學習第二課第三週作業及學習心得體會 ——softmax、batchnorm

寫在前面 本週課程用了兩週完成，因為課程讓用tensorflow實現，編碼時還是更希望自己手寫程式碼實現，而在實現過程中，低估了batchnorm反向計算的難度，導致演算法出現各種bug，開始是維度上的bug導致程式碼無法執行，等程式碼可以執行時，訓練神經網路的時候成本又總

吳恩達深度學習：基於Matlab完成卷積神經網路第四課第一週程式設計任務

          這兩三個月通過吳恩達老師的課程學習了深度學習，從零開始學理論，做程式設計任務。感覺學了很多知識。現在學到卷積神經網路，想把第一週的程式設計任務、其中的要點上傳和編寫，方便自己以後鞏固。（注：吳恩達老師課程的程式設計任務是用Python來完成的，而我是用ma

吳恩達深度學習第二課第二週作業及學習心得體會——minibatch、動量梯度下降、adam

概述 學習課程後，在L2正則化程式碼的基礎上完成該周作業，現將心得體會記錄如下。 Mini-batch梯度下降 概念 對m個訓練樣本，每次採用t（1<t<m）個樣本進行迭代更新。 具體過程為：將特徵X分為T個batch，每個batch的樣本數為t（最後一

【學習日記】吳恩達深度學習工程師微專業第一課：神經網路和深度學習

以下內容是我聽吳恩達深度學習微專業第一課做的學習筆記，主要是按自己的理解回答一些問題，並非全部出自課程內容。1. 什麼是神經網路？神經網路是諸多機器學習方法中的一種，受人類大腦工作方式的啟發而發明的。人類大腦的一個神經元通過多個樹突來接收來自不同神經元的訊號，接著細胞核處理訊

吳恩達深度學習(二)-第一週(2)：Regularization

Regularization # import packages import numpy as np import matplotlib.pyplot as plt from reg_utils import sigmoid, relu, plot_de

吳恩達深度學習第四課：卷積神經網路（學習筆記2）

前言 1.之所以堅持記錄，是因為看到其他人寫的優秀部落格，內容準確詳實，思路清晰流暢，這也說明了作者對知識的深入思考。我也希望能儘量將筆記寫的準確、簡潔，方便自己回憶也方便別人參考； 2.昨天看到兩篇關於計算機視覺的發展介紹的文章：[觀點|朱鬆純：初探計算機

【吳恩達深度學習課程】第一週課後習題

先說明一下，以下答案均為個人見解，如有不同想法歡迎交流。另外轉載請註明出處，謝謝1.試分析‘AI是新能量’指的是：A.等價於100年前電的出現一樣，AI正在轉變大多數的產業B.AI和電一樣在生活和辦公中發揮著重要作用C.通過“智慧電力”，AI正在傳送一種電力的新浪潮D.AI執

重磅！吳恩達深度學習又開新課啦！

說起吳恩達「Andrew Ng」，相信大家都非常熟悉了。作為人工智慧的大 IP，吳恩達一直致力於人工智慧的推廣和普及，爭取讓每個人都能感受人工智慧的魅力。自去年8月開始，吳恩達在 Coursera 上開設了由 5 門課組成的深度學習專項課程，掀起了一

吳恩達-深度學習-課程筆記-3: Python和向量化( Week 2 )

有時 指數 檢查 都是 效果 很快 -1 tro str 1 向量化( Vectorization ) 在邏輯回歸中，以計算z為例，z = w的轉置和x進行內積運算再加上b，你可以用for循環來實現。 但是在python中z可以調用numpy的方法，直接一句z = np.d