[caffe]深度學習之影象分類模型VGG解讀
一、簡介
vgg和googlenet是2014年imagenet競賽的雙雄，這兩類模型結構有一個共同特點是go deeper。跟googlenet不同的是，vgg繼承了lenet以及alexnet的一些框架，尤其是跟alexnet框架非常像，vgg也是5個group的卷積、2層fc影象特徵、一層fc分類特徵，可以看做和alexnet一樣總共8個part。根據前5個卷積group，每個group中的不同配置，vgg論文中給出了A~E這五種配置，卷積層數從8到16遞增。從論文中可以看到從8到16隨著卷積層的一步步加深，貌似通過加深卷積層數也已經到達準確率提升的瓶頸了。後面的有一些論文針對卷積層輸入的前處理（例如batch normalization）和輸出的後處理（例如prelu）做了研究。再進一步的提升方向會是什麼呢？這個值得大家去深入思考。
二、網路分析
在修改的過程中你會發現vgg為了做不同深度網路之間的對比，然後又不至於太多的修改網路，vgg中給所有的卷積層以及pool層都設定了一樣的層操作引數，確保了每個group出來的shape都是一致的，不管你在卷積group中加多少層的卷積。
三、網路日誌
以下是具體的shape log：
i0701 17:01:10.548092 26739 data_layer.cpp:85] output data size: 100,3,224,224 i0701 17:01:10.736845 26739 net.cpp:206] top shape: 100 3 224 224 (15052800) i0701 17:01:10.736912 26739 net.cpp:206] top shape: 100 (100) i0701 17:01:10.736929 26739 layer_factory.hpp:75] creating layer conv1_1 i0701 17:01:10.736968 26739 net.cpp:166] creating layer conv1_1 i0701 17:01:10.736979 26739 net.cpp:496] conv1_1 <- data i0701 17:01:10.737004 26739 net.cpp:452] conv1_1 -> conv1_1 i0701 17:01:10.737030 26739 net.cpp:197] setting up conv1_1 i0701 17:01:10.738733 26739 net.cpp:206] top shape: 100 64 224 224 (321126400) i0701 17:01:10.738770 26739 layer_factory.hpp:75] creating layer relu1_1 i0701 17:01:10.738786 26739 net.cpp:166] creating layer relu1_1 i0701 17:01:10.738824 26739 net.cpp:496] relu1_1 <- conv1_1 i0701 17:01:10.738838 26739 net.cpp:439] relu1_1 -> conv1_1 (in-place) i0701 17:01:10.738853 26739 net.cpp:197] setting up relu1_1 i0701 17:01:10.738867 26739 net.cpp:206] top shape: 100 64 224 224 (321126400) i0701 17:01:10.738878 26739 layer_factory.hpp:75] creating layer pool1 i0701 17:01:10.738890 26739 net.cpp:166] creating layer pool1 i0701 17:01:10.738900 26739 net.cpp:496] pool1 <- conv1_1 i0701 17:01:10.738914 26739 net.cpp:452] pool1 -> pool1 i0701 17:01:10.738930 26739 net.cpp:197] setting up pool1 i0701 17:01:10.738963 26739 net.cpp:206] top shape: 100 64 112 112 (80281600) i0701 17:01:10.738975 26739 layer_factory.hpp:75] creating layer conv2_1 i0701 17:01:10.738992 26739 net.cpp:166] creating layer conv2_1 i0701 17:01:10.739001 26739 net.cpp:496] conv2_1 <- pool1 i0701 17:01:10.739017 26739 net.cpp:452] conv2_1 -> conv2_1 i0701 17:01:10.739030 26739 net.cpp:197] setting up conv2_1 i0701 17:01:10.746640 26739 net.cpp:206] top shape: 100 128 112 112 (160563200) i0701 17:01:10.746669 26739 layer_factory.hpp:75] creating layer relu2_1 i0701 17:01:10.746682 26739 net.cpp:166] creating layer relu2_1 i0701 17:01:10.746691 26739 net.cpp:496] relu2_1 <- conv2_1 i0701 17:01:10.746702 26739 net.cpp:439] relu2_1 -> conv2_1 (in-place) i0701 17:01:10.746714 26739 net.cpp:197] setting up relu2_1 i0701 17:01:10.746726 26739 net.cpp:206] top shape: 100 128 112 112 (160563200) i0701 17:01:10.746734 26739 layer_factory.hpp:75] creating layer pool2 i0701 17:01:10.746749 26739 net.cpp:166] creating layer pool2 i0701 17:01:10.746759 26739 net.cpp:496] pool2 <- conv2_1 i0701 17:01:10.746770 26739 net.cpp:452] pool2 -> pool2 i0701 17:01:10.746783 26739 net.cpp:197] setting up pool2 i0701 17:01:10.746798 26739 net.cpp:206] top shape: 100 128 56 56 (40140800) i0701 17:01:10.746809 26739 layer_factory.hpp:75] creating layer conv3_1 i0701 17:01:10.746809 26739 layer_factory.hpp:75] creating layer conv3_1 i0701 17:01:10.746825 26739 net.cpp:166] creating layer conv3_1 i0701 17:01:10.746835 26739 net.cpp:496] conv3_1 <- pool2 i0701 17:01:10.746846 26739 net.cpp:452] conv3_1 -> conv3_1 i0701 17:01:10.746860 26739 net.cpp:197] setting up conv3_1 i0701 17:01:10.747910 26739 net.cpp:206] top shape: 100 256 56 56 (80281600) i0701 17:01:10.747939 26739 layer_factory.hpp:75] creating layer relu3_1 i0701 17:01:10.747954 26739 net.cpp:166] creating layer relu3_1 i0701 17:01:10.747963 26739 net.cpp:496] relu3_1 <- conv3_1 i0701 17:01:10.747974 26739 net.cpp:439] relu3_1 -> conv3_1 (in-place) i0701 17:01:10.747985 26739 net.cpp:197] setting up relu3_1 i0701 17:01:10.747997 26739 net.cpp:206] top shape: 100 256 56 56 (80281600) i0701 17:01:10.748009 26739 layer_factory.hpp:75] creating layer conv3_2 i0701 17:01:10.748021 26739 net.cpp:166] creating layer conv3_2 i0701 17:01:10.748030 26739 net.cpp:496] conv3_2 <- conv3_1 i0701 17:01:10.748045 26739 net.cpp:452] conv3_2 -> conv3_2 i0701 17:01:10.748060 26739 net.cpp:197] setting up conv3_2 i0701 17:01:10.750586 26739 net.cpp:206] top shape: 100 256 56 56 (80281600) i0701 17:01:10.750610 26739 layer_factory.hpp:75] creating layer relu3_2 i0701 17:01:10.750624 26739 net.cpp:166] creating layer relu3_2 i0701 17:01:10.750635 26739 net.cpp:496] relu3_2 <- conv3_2 i0701 17:01:10.750648 26739 net.cpp:439] relu3_2 -> conv3_2 (in-place) i0701 17:01:10.750669 26739 net.cpp:197] setting up relu3_2 i0701 17:01:10.750681 26739 net.cpp:206] top shape: 100 256 56 56 (80281600) i0701 17:01:10.750690 26739 layer_factory.hpp:75] creating layer pool3 i0701 17:01:10.750702 26739 net.cpp:166] creating layer pool3 i0701 17:01:10.750710 26739 net.cpp:496] pool3 <- conv3_2 i0701 17:01:10.750725 26739 net.cpp:452] pool3 -> pool3 i0701 17:01:10.750740 26739 net.cpp:197] setting up pool3 i0701 17:01:10.750756 26739 net.cpp:206] top shape: 100 256 28 28 (20070400) i0701 17:01:10.750764 26739 layer_factory.hpp:75] creating layer conv4_1 i0701 17:01:10.750779 26739 net.cpp:166] creating layer conv4_1 i0701 17:01:10.750788 26739 net.cpp:496] conv4_1 <- pool3 i0701 17:01:10.750800 26739 net.cpp:452] conv4_1 -> conv4_1 i0701 17:01:10.750825 26739 net.cpp:197] setting up conv4_1 i0701 17:01:10.756436 26739 net.cpp:206] top shape: 100 512 28 28 (40140800) i0701 17:01:10.756474 26739 layer_factory.hpp:75] creating layer relu4_1 i0701 17:01:10.756489 26739 net.cpp:166] creating layer relu4_1 i0701 17:01:10.756499 26739 net.cpp:496] relu4_1 <- conv4_1 i0701 17:01:10.756510 26739 net.cpp:439] relu4_1 -> conv4_1 (in-place) i0701 17:01:10.756523 26739 net.cpp:197] setting up relu4_1 i0701 17:01:10.756536 26739 net.cpp:206] top shape: 100 512 28 28 (40140800) i0701 17:01:10.756546 26739 layer_factory.hpp:75] creating layer conv4_2 i0701 17:01:10.756559 26739 net.cpp:166] creating layer conv4_2 i0701 17:01:10.756568 26739 net.cpp:496] conv4_2 <- conv4_1 i0701 17:01:10.756583 26739 net.cpp:452] conv4_2 -> conv4_2 i0701 17:01:10.756597 26739 net.cpp:197] setting up conv4_2 i0701 17:01:10.766434 26739 net.cpp:206] top shape: 100 512 28 28 (40140800) i0701 17:01:10.766474 26739 layer_factory.hpp:75] creating layer relu4_2 i0701 17:01:10.766490 26739 net.cpp:166] creating layer relu4_2 i0701 17:01:10.766500 26739 net.cpp:496] relu4_2 <- conv4_2 i0701 17:01:10.766513 26739 net.cpp:439] relu4_2 -> conv4_2 (in-place) i0701 17:01:10.766531 26739 net.cpp:197] setting up relu4_2 i0701 17:01:10.766543 26739 net.cpp:206] top shape: 100 512 28 28 (40140800) i0701 17:01:10.766552 26739 layer_factory.hpp:75] creating layer pool4 i0701 17:01:10.766573 26739 net.cpp:166] creating layer pool4 i0701 17:01:10.766582 26739 net.cpp:496] pool4 <- conv4_2 i0701 17:01:10.766595 26739 net.cpp:452] pool4 -> pool4 i0701 17:01:10.766608 26739 net.cpp:197] setting up pool4 i0701 17:01:10.766624 26739 net.cpp:206] top shape: 100 512 14 14 (10035200) I0701 17:18:56.158187 29940 layer_factory.hpp:75] Creating layer conv5_1 I0701 17:18:56.158201 29940 net.cpp:166] Creating Layer conv5_1 I0701 17:18:56.158210 29940 net.cpp:496] conv5_1 <- pool4 I0701 17:18:56.158222 29940 net.cpp:452] conv5_1 -> conv5_1 I0701 17:18:56.158234 29940 net.cpp:197] Setting up conv5_1 I0701 17:18:56.168265 29940 net.cpp:206] Top shape: 100 512 14 14 (10035200) I0701 17:18:56.168303 29940 layer_factory.hpp:75] Creating layer relu5_1 I0701 17:18:56.168320 29940 net.cpp:166] Creating Layer relu5_1 I0701 17:18:56.168329 29940 net.cpp:496] relu5_1 <- conv5_1 I0701 17:18:56.168341 29940 net.cpp:439] relu5_1 -> conv5_1 (in-place) I0701 17:18:56.168355 29940 net.cpp:197] Setting up relu5_1 I0701 17:18:56.168368 29940 net.cpp:206] Top shape: 100 512 14 14 (10035200) I0701 17:18:56.168378 29940 layer_factory.hpp:75] Creating layer conv5_2 I0701 17:18:56.168395 29940 net.cpp:166] Creating Layer conv5_2 I0701 17:18:56.168406 29940 net.cpp:496] conv5_2 <- conv5_1 I0701 17:18:56.168417 29940 net.cpp:452] conv5_2 -> conv5_2 I0701 17:18:56.168431 29940 net.cpp:197] Setting up conv5_2 I0701 17:18:56.178441 29940 net.cpp:206] Top shape: 100 512 14 14 (10035200) I0701 17:18:56.178478 29940 layer_factory.hpp:75] Creating layer relu5_2 I0701 17:18:56.178493 29940 net.cpp:166] Creating Layer relu5_2 I0701 17:18:56.178501 29940 net.cpp:496] relu5_2 <- conv5_2 I0701 17:18:56.178514 29940 net.cpp:439] relu5_2 -> conv5_2 (in-place) I0701 17:18:56.178527 29940 net.cpp:197] Setting up relu5_2 I0701 17:18:56.178539 29940 net.cpp:206] Top shape: 100 512 14 14 (10035200) I0701 17:18:56.178547 29940 layer_factory.hpp:75] Creating layer pool5 I0701 17:18:56.178561 29940 net.cpp:166] Creating Layer pool5 I0701 17:18:56.178570 29940 net.cpp:496] pool5 <- conv5_2 I0701 17:18:56.178581 29940 net.cpp:452] pool5 -> pool5 I0701 17:18:56.178596 29940 net.cpp:197] Setting up pool5 I0701 17:18:56.178611 29940 net.cpp:206] Top shape: 100 512 7 7 (2508800) I0701 17:18:56.178621 29940 layer_factory.hpp:75] Creating layer fc6 i0701 17:01:10.796613 26739 net.cpp:166] creating layer fc6 i0701 17:01:10.796622 26739 net.cpp:496] fc6 <- pool5 i0701 17:01:10.796634 26739 net.cpp:452] fc6 -> fc6 i0701 17:01:10.796650 26739 net.cpp:197] setting up fc6 i0701 17:01:11.236284 26739 net.cpp:206] top shape: 100 4096 (409600) i0701 17:01:11.236351 26739 layer_factory.hpp:75] creating layer relu6 i0701 17:01:11.236373 26739 net.cpp:166] creating layer relu6 i0701 17:01:11.236384 26739 net.cpp:496] relu6 <- fc6 i0701 17:01:11.236404 26739 net.cpp:439] relu6 -> fc6 (in-place) i0701 17:01:11.236423 26739 net.cpp:197] setting up relu6 i0701 17:01:11.236435 26739 net.cpp:206] top shape: 100 4096 (409600) i0701 17:01:11.236444 26739 layer_factory.hpp:75] creating layer drop6 i0701 17:01:11.236464 26739 net.cpp:166] creating layer drop6 i0701 17:01:11.236472 26739 net.cpp:496] drop6 <- fc6 i0701 17:01:11.236486 26739 net.cpp:439] drop6 -> fc6 (in-place) i0701 17:01:11.236500 26739 net.cpp:197] setting up drop6 i0701 17:01:11.236524 26739 net.cpp:206] top shape: 100 4096 (409600) i0701 17:01:11.236534 26739 layer_factory.hpp:75] creating layer fc7 i0701 17:01:11.236549 26739 net.cpp:166] creating layer fc7 i0701 17:01:11.236557 26739 net.cpp:496] fc7 <- fc6 i0701 17:01:11.236569 26739 net.cpp:452] fc7 -> fc7 i0701 17:01:11.236585 26739 net.cpp:197] setting up fc7 i0701 17:01:11.301771 26739 net.cpp:206] top shape: 100 4096 (409600) i0701 17:01:11.301842 26739 layer_factory.hpp:75] creating layer relu7 i0701 17:01:11.301864 26739 net.cpp:166] creating layer relu7 i0701 17:01:11.301877 26739 net.cpp:496] relu7 <- fc7 i0701 17:01:11.301898 26739 net.cpp:439] relu7 -> fc7 (in-place) i0701 17:01:11.301916 26739 net.cpp:197] setting up relu7 i0701 17:01:11.301929 26739 net.cpp:206] top shape: 100 4096 (409600) i0701 17:01:11.301939 26739 layer_factory.hpp:75] creating layer drop7 i0701 17:01:11.301954 26739 net.cpp:166] creating layer drop7 i0701 17:01:11.301962 26739 net.cpp:496] drop7 <- fc7 i0701 17:01:11.301972 26739 net.cpp:439] drop7 -> fc7 (in-place) i0701 17:01:11.301985 26739 net.cpp:197] setting up drop7 i0701 17:01:11.302000 26739 net.cpp:206] top shape: 100 4096 (409600) i0701 17:01:11.302008 26739 layer_factory.hpp:75] creating layer fc8 i0701 17:01:11.302023 26739 net.cpp:166] creating layer fc8 i0701 17:01:11.302032 26739 net.cpp:496] fc8 <- fc7 i0701 17:01:11.302044 26739 net.cpp:452] fc8 -> fc8 i0701 17:01:11.302058 26739 net.cpp:197] setting up fc8 i0701 17:01:11.464764 26739 net.cpp:206] top shape: 100 10000 (1000000)
相關推薦
[caffe]深度學習之影象分類模型VGG解讀
一、簡介 vgg和googlenet是2014年imagenet競賽的雙雄，這兩類模型結構有一個共同特點是go deeper。跟googlenet不同的是，vgg繼承了lenet以及alexnet的一些框架，尤其是跟alexnet框架非常像，vgg也是5個group的卷積、
深度學習之影象分類模型AlexNet解讀
版權宣告：本文為博主原創文章 https://blog.csdn.net/sunbaigui/article/details/39938097 在imagenet上的影象分類challenge上Alex提出的alexnet網路結構模型贏得了2012屆的冠軍。要研究CNN型別
深度學習之影象分類模型AlexNet結構分析和tensorflow實現
在ImageNet上的影象分類challenge上，Hinton和他的學生Alex Krizhevsky提出的AlexNet網路結構模型贏得了2012屆的冠軍，重新整理了Image Classification的機率。因此，要研究CNN型別深度學習模型在影象分
深度學習之文字分類模型-前饋神經網路(Feed-Forward Neural Networks)
目錄DAN(Deep Average Network)Fasttextfasttext文字分類fasttext的n-gram模型Doc2vec DAN(Deep Average Network) MLP（Multi-Layer Perceptrons）叫做多層感知機，即由多層網路簡單堆疊而成，進而我們可以在輸
[caffe]深度學習之MSRA影象分類模型Deep Residual Network(深度殘差網路)解讀
一、簡介 MSRA的深度殘差網路在2015年ImageNet和COCO如下共5個領域取得第一名：ImageNet recognition, ImageNet detection, ImageNet localization, COCO detection,
深度學習，影象分類，從vgg到inception,到resnet
最近工作在做一件事情，就是把遊戲影象進行場景分類，相比於自然影象來說，遊戲影象種類較少，因此分類任務比較簡單，但是由於追求工程上的高精度和高效率，所以閱讀了vgg，inception，resnet等相關論文，並且都試了一下效果，算是對深度學習影象分類有了一個系統
深度學習之影象的資料增強方法彙總
參考：https://www.jianshu.com/p/99450dbdadcf 在深度學習專案中，尋找資料花費了相當多的時間。但在很多實際的專案中，我們難以找到充足的資料來完成任務。為了要保證完美地完成專案，有兩件事情需要做好：1、尋找更多的資料；2、資料增強。本篇主要描述資料增強。 有
深度學習之影象的資料增強
本文轉載自：http://www.cnblogs.com/gongxijun/p/6117588.html 在影象的深度學習中，為了豐富影象訓練集，更好的提取影象特徵，泛化模型（防止模型過擬合），一般都會對資料影象進行資料增強，資料增強，常用的方式，就是：旋轉影象，剪下影象，改變影象色差,扭
深度學習在影象分類中的發展
深度學習是一門比較年輕的研究方向，從機器視覺到語音識別，以及自然語言識別等領域都有它的身影。說實話，喵哥此前只是知道有這個學科，但是並不清楚它到底是什麼，怎麼使用它。其實現在也是一無所知，但是我越發覺得深度學習是我們今後特別需要的專業，今天寫下這篇綜述性的文章，希望可以對以後
PaddlePaddle | 深度學習 101- 影象分類
本人僅以 PaddlePaddle 深度學習 101 官網教程為指導，添加個人理解和筆記，僅作為學習練習使用，若有錯誤，還望批評指教。–ZJ 環境： - Python 2.7 - Ubuntu 16.04 影象分類 本教程原始碼目錄在bo
深度學習之影象修復
影象修復問題就是還原影象中缺失的部分。基於影象中已有資訊，去還原影象中的缺失部分。 從直觀上看，這個問題能否解決是看情況的，還原的關鍵在於剩餘資訊的使用，剩餘資訊中如果存在有缺失部分資訊的patch，那麼剩下的問題就是從剩餘資訊中判斷缺失部分與哪一部分相似
遷移學習之影象分類域適應
這半年來主要研究遷移學習，因此想通過幾篇部落格進行一下總結，從遷移學習，到深度遷移學習，對抗遷移學習，到影象分類域適應，再到語義分割域適應。 下面是遷移學習較新的綜述 ： 2018 一篇最近的非對稱情況下的異構遷移學習綜述：Asymmetric Heterogeneous Transfer
深度學習之影象資料增強
在影象的深度學習中，為了豐富影象訓練集，更好的提取影象特徵，泛化模型（防止模型過擬合），一般都會對資料影象進行資料增強，資料增強，常用的方式，就是旋轉影象，剪下影象，改變影象色差,扭曲影象特徵，改變影象尺寸大小，增強影象噪音（一般使用高斯噪音，鹽椒噪音）等.但
深度學習、影象分類入門，從VGG16卷積神經網路開始
剛開始接觸深度學習、卷積神經網路的時候非常懵逼，不知道從何入手，我覺得應該有一個進階的過程，也就是說，理應有一些基本概念作為奠基石，讓你有底氣去完全理解一個龐大的卷積神經網路： 本文思路： 一、我認為學習卷積神經網路必須知道的幾個概念： 1、卷積過程： 我們經常說卷積
【從傳統方法到深度學習】影象分類
1. 問題 Kaggle上有一個影象分類比賽Digit Recognizer，資料集是大名鼎鼎的MNIST——圖片是已分割 (image segmented)過的28*28的灰度圖，手寫數字部分對應的是0~255的灰度值，背景部分為0。 from keras.datasets import mnist (x
深度學習在影象分類等任務中的發展
本文簡單介紹一下2012年以來幾篇重要的影象分類論文。 2012年AlexNet[1]，證明了深層CNN網路能提升影象分類的效果。該文章使用了8層的網路，獲得了2012年ImageNet資料集上影象
乾貨丨深度學習、影象分類入門，從VGG16卷積神經網路開始
剛開始接觸深度學習、卷積神經網路的時候非常懵逼，不知道從何入手，我覺得應該有一個進階的過程，也就
深度學習：影象分類，定位檢測，語義分割，例項分割方法
計算機視覺領域四大基本任務中的應用，包括分類(圖a)、定位、檢測(圖b)、語義分割(圖c)、和例項分割(圖d)。 一、影象分類(image classification) 給定一張輸入影象，影象分類任務旨在判斷該影象所屬類別。 (1) 影象分類常用資料集 以下
基於深度學習的影象識別模型發展
一、簡介 AlexNet：(2012)主要貢獻擴充套件 LeNet 的深度，並應用一些 ReLU、Dropout 等技巧。AlexNet 有 5 個卷積層和 3 個最大池化層，它可分為上下兩個完全相同的分支，這兩個分支在第三個卷積層和全連線層上可以相互交換資訊。它是開啟了卷積神經網路做影象處理的先河。 V
深度學習核心技術實戰——影象分類模型
影象分類模型1.LeNet-5： 每一個卷積核都會形成一個特徵圖，3個通道則是每個通道是不同的卷積核，但是最後是將三通道