2. 程式人生 > >卷積神經網路綜述

卷積神經網路綜述

阿新 • • 發佈：2018-11-19

卷積神經網路綜述

原理

原理參考1
原理參考2

相關模型

模型 年代 特點 結構 概念 相關程式碼
LeNet-5 90年代 LeNet-5 也能使用反響傳播演算法（backpropagation） ]訓練 ，三種類型的神經網路層 在這裡插入圖片描述 卷積層 ,池化層,池化層.1、卷積層、池化層和啟用函式層等操作是將原始資料對映到隱層特徵空間的話，2、全連線層則起到將學到的“分散式特徵表示”對映到樣本標記空間的作用
AlexNet 2012 1、使用了非線性啟用函式ReLu與Dropout方法2、由五層卷積和三層全連線組成，輸入影象為三通道224x224大小，網路規模遠大於LeNet 3、使用了Dropout，可以作為正則項防止過擬合，提升模型魯棒性
ZFNet 1、對AlexNet的改進首先在第一層的卷積核尺寸從11x11降為7x7，2、將卷積時的步長從4降至2。 3、這樣使中間的卷積層擴張從而可以捕捉到更多的資訊。
VGGNet 2014 網路的深度擴充套件到了19層，並且在每個卷積層使用了3x3這種小尺寸的卷積核。結果證明深度對網路效能有著重要影響 在這裡插入圖片描述
GoogleNet 2015 增加了網路的寬度與深度，並且相比於更窄更淺的網路，其在沒有明顯增多的計算量的情況下使網路效能明顯增強。 在這裡插入圖片描述 參考分析
ResNet ILSVRC 2015冠軍 層數變得更多， ResNet是 AlexNet的20多倍，是 VGGNet的8倍多，增加深度，網路便能夠利用增加的非線性得出目標函式的近似結構 ， ResNet通過引入shortcut直連來解決梯度消失 在這裡插入圖片描述
DenseNet 每一層輸出都直連到後面的所有層，可以更好地複用特徵，每一層都比較淺，融合了來自前面所有層的所有特徵，並且很容易訓練 在這裡插入圖片描述
ResNeXt 2017 左邊為普通的resnet結構，而右邊為ResNeXt提出的結構，有點像inception+resnet。但是inception最後是拼接，而這裡是加，各個通道也是一模一樣的（很方便之後特徵圖相加）。 而ResNeXt和ResNet的主要區別就在於group操作 在這裡插入圖片描述
DPN 融合了ResNeXt和DenseNet的核心思想。分成左右兩個部分，第一部分類似DenseNet（因為加入了分組卷積，所以說是類似），第二部分是ResNeXt，對與中間的shortcut部分，由左右兩部分的特徵圖經過1x1卷積相加，然後經過3x3卷積，和1x1的卷積（這就是resnet的shortcut部分），然後對獲取的特徵圖分成兩部分，一部分和左邊類DenseNet對應特徵圖拼接，另一部分與右邊ResNeXt的特徵圖進行相加 在這裡插入圖片描述
層 目的 特點
卷積層 池化層是CNN的重要組成部分，通過減少卷積層之間的連線，降低運算複雜程度
池化層 Lp 池化：Lp池化是建立在複雜細胞執行機制的基礎上，受生物啟發而來
混合池化：受隨機Dropout [16] 和 DropConnect [28], Yu et al.啟發而來
隨機池化：隨機迴圈 [30] 是受 dropout啟發而來的方法
Spatial pyramid pooling：空間金字塔池化[26]可以把任何尺度的影象的卷積特徵轉化成相同維度，這不僅可以讓CNN處理任意尺度的影象，還能避免 cropping和warping操作，導致一些資訊的丟失，具有非常重要的意義
應用場景 應用模型
影象分類
物體檢測
物體追蹤
姿態估計
文字檢測
視覺顯著檢測
動作識別和場景標籤

加速訓練程序

方法 概述
SGD演算法

##問題

如何選擇合適的超引數？比如學習率、卷積過濾的核大小、層數等等

相關推薦

卷積神經網路綜述

卷積神經網路綜述 原理 原理參考1 原理參考2 相關模型 模型 年代 特點 結構 概念 相關程式碼 LeNet-5 90年代 Le

綜述卷積神經網路論文：從基礎技術到研究前景

卷積神經網路（CNN）在計算機視覺領域已經取得了前所未有的巨大成功，但我們目前對其效果顯著的原因

卷積神經網路CNN_綜述一

CNN卷積神經網路架構綜述 發表於 2016-12-13|閱讀次數 深度學習演算法最近變得越來越流行和越來越有用的演算法，然而深度學習或者深度神經網路的成功得益於層出不窮的神經網路模型架構。這篇文章當中作者回顧了從1998年開始，近18年來深度神經網路的架構發展情況。

02《卷積神經網路研究綜述》學習總結

一、本篇介紹 篇名：卷積神經網路研究綜述 作者：周飛燕，金林鵬，董軍 作者單位：中國科學院 發表在：計算機學報，2017年6月 二、主要內容 1、神經網路的歷史 1943年，心理學家McCulloch和數理邏輯學家Pitts提出

卷積神經網路研究綜述學習筆記

本文是學習周飛燕、金林鵬、董軍三位老師寫的卷積神經網路研究綜述寫的筆記。原文地址：https://wenku.baidu.com/view/3425581e0166f5335a8102d276a20029bc64637f.html早在2006年已經有人提出神經網路，但是組開始

Keras學習（四）——CNN卷積神經網路

本文主要介紹使用keras實現CNN對手寫資料集進行分類。 示例程式碼： import numpy as np from keras.datasets import mnist from keras.utils import np_utils from keras.models impo

深度學習（十九）基於空間金字塔池化的卷積神經網路物體檢測

原文地址：http://blog.csdn.net/hjimce/article/details/50187655 作者：hjimce 一、相關理論    本篇博文主要講解大神何凱明2014年的paper：《Spatial Pyramid Pooling in Dee

淺析卷積神經網路的內部結構

提到卷積神經網路（CNN），很多人的印象可能還停留在黑箱子，輸入資料然後輸出結果的狀態。裡面超級多的引數、眼花繚亂的命名可能讓你無法短時間理解CNN的真正內涵。這裡推薦斯坦福大學的CS231n課程，知乎上有筆記的中文翻譯。如果你需要更淺顯、小白的解釋，可以讀讀看本文。文章大部分理解都源自於CS3

TensorFlow官方文件樣例——三層卷積神經網路訓練MNIST資料

        上篇部落格根據TensorFlow官方文件樣例實現了一個簡單的單層神經網路模型，在訓練10000次左右可以達到92.7%左右的準確率。但如果將神經網路的深度拓展，那麼很容易就能夠達到更高的準確率。官方中文文件中就提供了這樣的樣例，它的網路結構如

用TensorFlow訓練卷積神經網路——識別驗證碼

需要用到的包：numpy、tensorflow、captcha、matplotlib、PIL、random import numpy as np import tensorflow as tf # 深度學習庫 from captcha.image import ImageCaptcha

卷積神經網路（CNN）在語音識別中的應用

卷積神經網路（CNN）在語音識別中的應用 作者：侯藝馨 前言 總結目前語音識別的發展現狀，dnn、rnn/lstm和cnn算是語音識別中幾個比較主流的方向。2012年，微軟鄧力和俞棟老師將前饋神經網路FFDNN（Feed Forward Deep Neural Network）引入到聲學模

學習筆記之——基於pytorch的卷積神經網路

本博文為本人的學習筆記。參考材料為《深度學習入門之——PyTorch》 pytorch中文網：https://www.pytorchtutorial.com/  關於反捲積：https://github.com/vdumoulin/conv_arithmetic/blob/ma

使用兩層卷積神經網路來實現手寫數字集（面向物件）

介紹使用卷積神經網路來實現手寫數字集的識別 主要採用面向物件的變成方法實現， 程式碼可以直接執行，分別有訓練模型，儲存模型，和運用儲存好的模型測試單張圖片 import tensorflow as tf from tensorflow.examples.tutorials.mnist i

卷積神經網路隨記

基本原理 資料-->前向傳播得出損失-->反向傳播更新引數 卷積神經網路最核心的任務就是分類任務。 檢索任務或者說推薦，比如找出與某個花同類別的花，什麼東西和這個比較像，還有類似淘寶的衣服同款推薦。 Detection做的就是兩件事，第一件是找到

卷積神經網路

卷積層和池化層   一、卷積神經網路的權重共享 　　經典神經網路：全連線，即每個神經元都與每一個數據有對應的引數； 　　卷積神經網路是權重共享的，就是得到的特徵圖的每個畫素點都是原圖的一個區域（如5*5*3，有3個顏色通道）與filter（卷積運算元，如5*5*3，有75個權重引數）對位相乘

卷積神經網路理解（一）：濾波器的意義

歡迎大家關注我們的網站和系列教程：http://www.tensorflownews.com/，學習更多的機器學習、深度學習的知識！ 荔枝boy 卷積神經網路的發展 卷積神經網路的重要性 卷積神經網路與影象識別 濾波器 一.卷積神經網路的發展

用卷積神經網路和自注意力機制實現QANet（問答網路）

歡迎大家關注我們的網站和系列教程：http://www.tensorflownews.com/，學習更多的機器學習、深度學習的知識！ 在這篇文章中，我們將解決自然語言處理（具體是指問答）中最具挑戰性但最有趣的問題之一。我們將在Tensorflow中實現Google的QANet。就像它

深度學習：卷積神經網路，卷積，啟用函式，池化

卷積神經網路——輸入層、卷積層、啟用函式、池化層、全連線層 https://blog.csdn.net/yjl9122/article/details/70198357?utm_source=blogxgwz3 一、卷積層 特徵提取 輸入影象是32*32*3，3是它的深度（即R

不懂卷積神經網路？別怕，看完這幾張萌圖你就明白了

這篇文章用最簡明易懂的方式解釋了卷積神經網路（CNN）的基本原理，並繞開了裡面的數學理論。 同時，如果想對從頭開始構建CNN網路之類的問題感興趣，作者推薦去讀《 Artificial Intelligence for Humans Volume 3: Deep Learning and Neur

深度學習筆記——卷積神經網路

程式碼參考了零基礎入門深度學習(4) - 卷積神經網路這篇文章，我只對程式碼裡可能存在的一些小錯誤進行了更改。至於卷積神經網路的原理以及程式碼裡不清楚的地方可以結合該文章理解，十分淺顯易懂。 import numpy as np from functools import reduce fro