2. 程式人生 > >神經網路CNN訓練心得--調參經驗

神經網路CNN訓練心得--調參經驗

阿新 • • 發佈：2019-01-25

1.樣本要隨機化，防止大資料淹沒小資料

2.樣本要做歸一化。關於歸一化的好處請參考：為何需要歸一化處理
3.啟用函式要視樣本輸入選擇(多層神經網路一般使用relu)
4.mini batch很重要，幾百是比較合適的(很大資料量的情況下)
5.學習速率(learning rate)很重要，比如一開始可以lr設定為0.01，然後執行到loss不怎麼降的時候，學習速率除以10，接著訓練
6.權重初始化，可用高斯分佈乘上一個很小的數，這個可以看：權值初始化7.Adam收斂速度的確要快一些，可結果往往沒有sgd + momentum的解好（如果模型比較複雜的話，sgd是比較難訓練的，這時候adam的威力就體現出來了）8.
Dropout的放置位置以及大小非常重要
9.early stop，發現val_loss沒更新，就儘早停止
另：心得體會
深度學習真是一門實驗科學，很多地方解釋不了為什麼好，為什麼不好。
網路層數、卷積核大小、滑動步長，學習速率這些引數的設定大多是通過已有的架構來做一些微調
參考：知乎討論 https://www.zhihu.com/question/41631631

相關推薦

神經網路CNN訓練心得--調參經驗

1.樣本要隨機化，防止大資料淹沒小資料2.樣本要做歸一化。關於歸一化的好處請參考：為何需要歸一化處理3.啟用函式要視樣本輸入選擇(多層神經網路一般使用relu)4.mini batch很重要，幾百是比較

【深度學習基礎5】深度神經網路的優化與調參(2)

     轉載請註明出處。謝謝。      本博文根據 coursera 吳恩達 Improving Deep Neural Networks: Hyperparameter tuning, Regularizati

神經網路學習：如何調參

如何調參是一個不斷深入的過程，本文會不定時的更新。 神經網路中需要調的引數很多，如何正確地調參至關重要，需要調節的引數大概有如下幾個： 神經網路的層數每層神經元的個數如何初始化Weights和biasesloss函式選擇哪一個選擇何種Regularization？L1,L

深度神經網路-keras-調參經驗

keras搬磚系列-調參經驗 1，觀察loss勝於觀察準確率，loss設計要比較合理，對比訓練集和驗證集的loss 2，relu可以很好的防止梯度彌散的問題，當然最後一層啟用函式儘量別用relu，如果分類則用softmax 3，BatchNorm 可以大大加快訓練速度和模型的

深層CNN的調參經驗 | A practical theory for designing very deep convolutional neural networks

A practical theory for designing very deep convolutional neural networks 兩個前提假設： 1.對於每一個卷積層，其學習更復雜表示的能力應該被保證 2.最高層的感受野應該不大於影象範圍

卷積神經網路/CNN/深度學習在做分類訓練時不收斂的解決方案

1.背景介紹 訓練網路的過程就是網路學習影象特徵的過程,正所謂網路好用但是不好訓練,我算是真真切切的體會到了.之前訓練手寫漢字的時候,大概就花費了1個多小時,之前訓練幾十個分類的字元也耗費了很長的時間,逐漸讓我我點怕訓練了,不過今天,我好像找到了問題的解決方法,雖然不一定對每個人有用

CNN感性認識（三）——為什麼深層次神經網路難於訓練？

深度網路中不同層次的神經元的學習速度是不同的。用梯度下降法學習，存在固有過的不穩定性，這種不穩定性導致網路在前面或後面的層次在訓練中停滯。 比如，如果我們設計一個每層只有一個神經元的網路： 在反向傳播時，前面層次的梯度由後面層次的權重和導數累乘得

深度學習訓練的小技巧，調參經驗。總結與記錄。

經常會被問到你用深度學習訓練模型時怎麼樣改善你的結果呢？然後每次都懵逼了，一是自己懂的不多，二是實驗的不多，三是記性不行忘記了。所以寫這篇部落格，記錄下別人以及自己的一些經驗。 Ilya Sutskever（Hinton的學生）講述了有關深度學習的見解及實用建議： 獲取

卷積神經網路 CNN 的細節問題 濾波器的大小選擇

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

Matlab程式設計之——卷積神經網路CNN程式碼解析

卷積神經網路CNN程式碼解析 deepLearnToolbox-master是一個深度學習matlab包，裡面含有很多機器學習演算法，如卷積神經網路CNN，深度信念網路DBN，自動編碼AutoE ncoder（堆疊SAE，卷積CAE）的作者是 RasmusBerg Palm 今天給介紹d

卷積神經網路CNN知識彙總

都2018了，已經有好多專業的大神，介紹卷積神經網路。這裡就記錄一下，我覺得寫的最好的吧。^^ 通俗理解卷積神經網路 通過100張圖一步步理解CNN 知乎：能否對卷積神經網路工作原理做一個直觀的解釋 個人專欄YJangGo：https://blog.csdn.net/u010

深度學習方法（五）：卷積神經網路CNN經典模型整理Lenet，Alexnet，Googlenet，VGG，Deep Residual Learning

歡迎轉載，轉載請註明：本文出自Bin的專欄blog.csdn.net/xbinworld。  技術交流QQ群：433250724，歡迎對演算法、技術感興趣的同學加入。 關於卷積神經網路CNN，網路和文獻中有非常多的資料，我在工作/研究中也用了好一段時間各種常見的model了，就想著

淺談卷積神經網路CNN原理

做手寫數字識別時，對網路結構進行到了調整，提高了識別的精度。傳統的機器學習演算法，簡單的神經網路(如多層感知機)都可以識別手寫數字，我們要採用卷積神經網路CNN來進行別呢？CNN到底是怎麼識別的？用CNN有哪些優勢呢？我下面就來簡單分析一下。 為什麼要用神經網路？ 對於同一個分類任務，我

卷積神經網路CNN的前向和後向傳播（一）

卷積神經網路CNN的前向和後向傳播 卷積運算與相關的區別 卷積運算的正向和反向傳播 原文 Forward And Backpropagation in Convolutional Neural Network地址： https://medium.

卷積神經網路CNN的前向和後向傳播（二）

卷積神經網路CNN的前向和後向傳播（二） padding=1，stride=1的情形 輸入為8x8和卷積核3x3 對輸入的求導 對卷積核的求導 本文在卷積神經網路CNN的前向和後向傳播（一）的基礎上做一些擴充套件

神經網路中訓練資料集、驗證資料集和測試資料集的區別

whats the difference between train, validation and test set, in neural networks? Answer: The training and validation sets are used during t

《TensorFlow實戰》中AlexNet卷積神經網路的訓練中

TensorFlow實戰中AlexNet卷積神經網路的訓練 01 出錯 TypeError: as_default() missing 1 required positional argument: 'self' 經過百度、谷歌的雙重查詢，沒找到就具體原因。後面去TensorFlow官方文件中發現，tf

神經網路 CNN

# encoding=utf-8import tensorflow as tfimport numpy as npfrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets('MNIST

一文帶你看懂卷積神經網路(CNN)讓你意想不到的10創新idea

    全文摘要 卷積神經網路(CNN)可以說是深度學習發展的一個縮影，特別是現在在計算機視覺方面已經得到了非常成熟的應用，在目標檢測、目標追蹤等方面也是獨領風騷，本文將講述卷積神經網路近些年來的發展歷程，以及它到底創新在什麼地方。本文略長，看完大約3

卷積神經網路CNN與基於MNIST的Python程式碼示例

卷積神經網路入門學(1) 原文地址：http://blog.csdn.net/hjimce/article/details/47323463 作者：hjimce 卷積神經網路演算法是n年前就有的演算法，只是近年來因為深度學習相關演算法為多層網路的訓練提供了新方法，然後現在