1. 程式人生 > >【學習筆記1】吳恩達_卷積神經網路_第一週卷積神經網路(1)

【學習筆記1】吳恩達_卷積神經網路_第一週卷積神經網路(1)

一、卷積神經網路

1.邊緣檢測

不同的語言中表示卷積的函式不同,在Python中為在tensorflow裡為

濾波器:垂直、水平邊緣檢測。



Sobel filter:其優點在於增加了中間一行元素的權重,即影象中間的畫素點提高,會使結果的魯棒(robust)性提高。

Scharr filter

通過反向傳播方法得到九個數的濾波器,得到任意角度的邊緣檢測。將這九個數設為引數,讓神經網路去學習它,得到較為低階的特徵,如邊緣特徵

2.Padding

圖片的大小為n*n,卷積大小為f*f,輸出圖片維度為(n-f+1)*(n-f+1),這樣做的缺點:a.會使圖片縮小;b.角落邊的畫素只被一個輸出所碰觸,意味著丟失很多邊緣資訊。為了解決這兩個問題,需要在影象輸入時,在影象四周做一圈填充(Padding),通常使用0作填充。將p=padding number=1,則影象變為(n+2p)*(n+2p),輸出影象最終為(n+2p-f+1)*(n+2p-f+1),若f=3,p=1則輸出影象畫素等於原來影象畫素即為Same convolution,同時削弱了缺點b的影響。

填充層數的不同,產生不同的卷積:

*當f=5時,p=2,輸出與輸入影象大小相同。

在卷積神經網路中f很少為偶數,當f為偶數時可能需要引入不對稱填充,同時,如果f為奇數,會產生中心畫素點,便於指出卷積所在位置。

3.卷積步長(stride)

改變步長,輸出影象維度改變。

根據上圖公式,若結果不是一個整數,向下取整數,這種方法要求卷積掃過的面積不包含填充層。


關於互相關和卷積的技術性建議:

在數學和技術中對於卷積的定義不同。在數學中,卷積是做元素乘積求和之前,將卷積進行沿豎直和水平軸的翻轉;在深度學習的操作裡我們進行的操作實際為互相關,不進行翻轉操作,稱作卷積操作。

相關推薦

學習筆記1_神經網路_第一神經網路1

一、卷積神經網路 1.邊緣檢測 不同的語言中表示卷積的函式不同,在Python中為在tensorflow裡為 濾波器:垂直、水平邊緣檢測。 Sobel filter:其優點在於增加了中間一行元素的權重,即影象中間的畫素點提高,會使結果的魯棒(robust)性提高。

學習筆記老師第一程式設計大作業總結

Logistic Regression with a Neural Network mindset 用神經網路的思想來實現Logistic迴歸 學習目標 構建深度學習演算法的基本結構,包括:       初始化引數     &

學習筆記老師《深度學習工程師》五

第五課 導數 這一節,吳老師用很好理解的方式介紹了導數,對於中國學生來說導數沒有問題,老師講解的方式很新穎。 首先假設f(a)=3a,當a取2,f(a)=6,;這時稍微增大一下a的值,比如取2.001,此時f(a)=6.003,可見a增大0.001,f(a)增大0.003,是a增量的3倍,這

學習筆記老師《深度學習工程師》四

第三課 logistic迴歸損失函式 我們想使用sigmoid函式,將我們的輸出結果介於0~1之間,那麼我們就需要一個引數w,乘以我們的輸入x,然後累加,從而實現我們的想法。 如果我們某次的輸出結果為,預期的輸出結果為,自然得我們渴望得到,那麼構建一個損失函式L,來衡量輸出結果即可。  

學習筆記老師《深度學習工程師》三

二週目課程 第一課 二分分類 二分類問題,說白了就是結果只有兩種可能。老師以識別影象中是否為貓作為舉例,首先講解了神經網路中常用的符號規定。 當給我們一幅圖: 我們需要得到的結果是,圖片中是否是貓呢?顯然結果僅有兩種:是(1)和不是(0)。 那麼神經網路是如何處理圖片呢?圖片

深度學習網易公開課練習(class2 week1 task2 task3)

公開課 網易公開課 blog 校驗 過擬合 limit 函數 its cos 正則化 定義:正則化就是在計算損失函數時,在損失函數後添加權重相關的正則項。 作用:減少過擬合現象 正則化有多種,有L1範式,L2範式等。一種常用的正則化公式 \[J_{regularized}

第十大規模機器學習-機器學習-Coursera Machine Learning-

目錄 處理大資料集:     隨機的梯度下降     對映化簡 1 隨機的梯度下降  - 隨機梯度下降演算法 對於每一次迭代,只需要對一個樣本擬合好就可以了。 它只需要一次關注一個樣本

第九周異常發現+推薦系統-機器學習-Coursera Machine Learning-

目錄     異常檢測     多元高斯分佈的異常檢測     推薦系統 1 異常檢測 1)正態分佈或高斯分佈: 2)異常檢測演算法: 3)異常檢

第八無監督學習-機器學習-Coursera Machine Learning-

目錄     K-means演算法     PCA(主成分分析) 1 K-means 1)演算法原理:     a 選擇聚類中心

第七SVM-機器學習-Coursera Machine Learning-

前言:說實話SVM,看了視訊我確實還是不太理解,所以這裡就之記一些重要的概念吧。 看到一個好的文章:[機器學習] Coursera筆記 - Support Vector Machines 支援向量機又叫做 大間距分類器。複雜SVM,處理非線性分類。 代價函式: 核函式——&g

第六機器學習應用建議-機器學習-Coursera Machine Learning-

目錄     評估學習演算法:     方差和偏差     學習曲線     機器學習系統設計 1 評估假設,選擇多項

第五反向神經網路-機器學習-Coursera Machine Learning-

目錄     代價函式     反向傳播     神經網路總結 1 代價函式 2 反向傳播演算法——讓代價函式最小化的演算法讓代價函式最小化,利用ma

Coursera deeplearning.ai 05.序列模型 第一 迴圈序列模型 課程筆記

迴圈序列模型 為什麼選擇序列模型 在語音識別、音樂生成、情感分類、DNA序列分析、機器翻譯、視訊識別、命名實體識別等任務中,共同特點是輸入X和/或輸出Y都是序列。 數學符號 例如,對於命名實體識別的問題: 對於輸入序列,用 x&l

Coursera deeplearning.ai 04.神經網路 第二 深度神經網路 課程筆記

深度卷積神經網路 2.1 為什麼要進行例項化 實際上,在計算機視覺任務中表現良好的神經網路框架,往往也適用於其他任務。 2.2 經典網路 LeNet-5 AlexNet VGG LeNet-5 主要針對灰度影象 隨著神經網路的加深

第二多變數線性迴歸 +Matlab使用-機器學習-Coursera Machine Learning-

目錄:    多變數線性迴歸(模型、梯度下降技巧)    特徵選擇和多項式迴歸    正規方程    Matlab學習1 多變數線性迴歸1)模型- 假設函式:- 引數:全部的 theta- 代價函式:和單變量回歸一樣- 梯度下降:2)梯度下降演算法的實用技巧    - 特徵縮

學習日記深度學習工程師微專業第一課:神經網路和深度學習

以下內容是我聽吳恩達深度學習微專業第一課做的學習筆記,主要是按自己的理解回答一些問題,並非全部出自課程內容。1. 什麼是神經網路?神經網路是諸多機器學習方法中的一種,受人類大腦工作方式的啟發而發明的。人類大腦的一個神經元通過多個樹突來接收來自不同神經元的訊號,接著細胞核處理訊

新書《Machine Learning Yearning》翻譯連載_1

轉載 微信公眾號 “頂級程式設計師”  1. 為什麼要學習機器學習策略? 機器學習眾多重要應用的基礎,包括搜尋引擎、垃圾郵件過濾、語音識別、商品推薦等。假設你或者你的團隊正在做機器學習應用專案,同時你想獲得快速進步。你可以從這本書中找到滿意的答案。 示例:建立一個識

的視訊課程做成了文字版 ~~~

ML 機器學習課程地址: https://www.coursera.org/course/ml 筆記地址: http://www.ai-start.com/ml2014/ DL 深度學習課程地址: https://mooc.study.163.com/univer

筆記:《機器學習訓練祕籍》-deeplearningai微信公眾號推送文章

說明 該文為筆者在微信公眾號:吳恩達deeplearningai 所推送《機器學習訓練祕籍》系列文章的學習筆記,公眾號二維碼如下,1到15課課程連結點這裡 該系列文章主要是吳恩達先生在機器學習方面的經驗分享和基礎教程,每一章十分短小,旨在讓我們能在碎片化