2. 程式人生 > >深度學習中優化方法總結

深度學習中優化方法總結

阿新 • • 發佈：2019-01-07

最近在看Google的Deep Learning一書，看到優化方法那一部分，正巧之前用tensorflow也是對那些優化方法一知半解的，所以看完後就整理了下放上來，主要是一階的梯度法，包括SGD, Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam。 其中SGD,Momentum,Nesterov Momentum是手動指定學習速率的,而後面的AdaGrad, RMSProp, Adam,就能夠自動調節學習速率. 
二階的方法目前我水平太差，看不懂….就不放上來了。

BGD

即batch gradient descent. 在訓練中,每一步迭代都使用訓練集的所有內容. 也就是說,利用現有引數對訓練集中的每一個輸入

生成一個估計輸出yi^,然後跟實際輸出yi比較,統計所有誤差,求平均以後得到平均誤差,以此來作為更新引數的依據.

具體實現: 
需要:學習速率 ϵ, 初始引數 θ 
每步迭代過程: 
1. 提取訓練集中的所有內容{x1,…,xn},以及相關的輸出yi 
2. 計算梯度和誤差並更新引數: 

g^←+1n∇θ∑iL(f(xi;θ),yi)θ←θ−ϵg^

優點: 
由於每一步都利用了訓練集中的所有資料,因此當損失函式達到最小值以後,能夠保證此時計算出的梯度為0,換句話說,就是能夠收斂.因此,使用BGD時不需要逐漸減小學習速率ϵk

缺點: 
由於每一步都要使用所有資料,因此隨著資料集的增大,執行速度會越來越慢.

SGD

SGD全名 stochastic gradient descent， 即隨機梯度下降。不過這裡的SGD其實跟MBGD(minibatch gradient descent)是一個意思,即隨機抽取一批樣本,以此為根據來更新引數.

具體實現: 
需要:學習速率 ϵ, 初始引數 θ 
每步迭代過程: 
1. 從訓練集中的隨機抽取一批容量為m的樣本{x1,…,xm},以及相關的輸出yi 
2. 計算梯度和誤差並更新引數: 

g^←+1m∇θ∑iL(f(xi;θ),yi)θ←θ−ϵg^

優點: 
訓練速度快,對於很大的資料集,也能夠以較快的速度收斂.

缺點: 
由於是抽取,因此不可避免的,得到的梯度肯定有誤差.因此學習速率需要逐漸減小.否則模型無法收斂 
因為誤差,所以每一次迭代的梯度受抽樣的影響比較大,也就是說梯度含有比較大的噪聲,不能很好的反映真實梯度.

學習速率該如何調整: 
那麼這樣一來,ϵ如何衰減就成了問題.如果要保證SGD收斂,應該滿足如下兩個要求: 

∑k=1∞ϵk

相關推薦

深度學習中優化方法總結

最近在看Google的Deep Learning一書，看到優化方法那一部分，正巧之前用tensorflow也是對那些優化方法一知半解的，所以看完後就整理了下放上來，主要是一階的梯度法，包括SGD, Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam。

深度學習中優化演算法概覽

一、發展背景及基本框架 梯度下降是目前神經網路中使用最為廣泛的優化演算法之一。為了彌補樸素梯度下降的種種缺陷，研究者們發明了一系列變種演算法，從最初的 SGD (隨機梯度下降) 逐步演進到 NAdam。然而，許多學術界最為前沿的文章中，都並沒有一味使用 Adam/NAdam 等公認“

深度學習常用優化方法

深度解讀最流行的優化演算法：梯度下降 【本文轉載自機器之心   翻譯：沈澤江 原文地址：http://www.jiqizhixin.com/article/1857】 梯度下降法，是當今最流行的優化（optimization）演算法，亦是至今最常用的優化神經網路的方法。本文旨在讓你對不同的優化梯度下

機器學習中優化演算法總結以及Python實現

機器學習演算法最終總是能轉化為最優化問題，習慣上會轉化為最小化問題。 個人總結迭代優化演算法關鍵就兩點： (1) 找到下降方向 (2) 確定下降步長 最速梯度下降演算法 梯度下降演算法是以最優化函式的梯度為下降方向，學習率η\etaη乘以梯度的模即為下降步長。更

深度學習中的優化方法總結

梯度下降沿著整個訓練集的梯度方向下降。可以使用隨機梯度下降很大程度地加速，沿著隨機挑選的小批量資料的梯度下降。 批量演算法和小批量演算法 使用小批量的原因 n個樣本均值的標準差是σn√σn，其中σσ是樣本值真實的標準差。分母n−−√n表明使用更多的樣本來估計梯度的方

深度學習最全優化方法總結比較（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）

前言 本文僅對一些常見的優化方法進行直觀介紹和簡單的比較，各種優化方法的詳細內容及公式只好去認真啃論文了，在此我就不贅述了。 SGD 此處的SGD指mini-batch gradient descent，關於batch gradient descent, stochastic gradient de

深度學習中如何選擇好的優化方法（optimizer）【原理】

除了隨機梯度初始化（SGD），在深度學習中還有很多其他的方法可以對網路進行優化1. 減少網路收斂時間2. 除了學習率（learning rate）還有更多其他的引數3. 比SGD到達更高的分類準確率一. 自適應學習率為了更好的理解優化的方法，這裡我們都是用虛擬碼的方式來進行描

深度學習最全優化方法總結比較及在tensorflow實現

梯度下降演算法針對凸優化問題原則上是可以收斂到全域性最優的，因為此時只有唯一的區域性最優點。而實際上深度學習模型是一個複雜的非線性結構，一般屬於非凸問題，這意味著存在很多區域性最優點（鞍點），採用梯度下降演算法可能會陷入區域性最優，這應該是最頭疼的問題。這點和進化演算法如遺傳

深度學習中各類優化器的選擇總結

Batch gradient descent 每次更新我們需要計算整個資料集的梯度，因此使用批量梯度下降進行優化時，計算速度很慢，而且對於不適合記憶體計算的資料將會非常棘手。批量梯度下降演算法不允許我們實時更新模型。 但是批量梯度下降演算法能確保收斂到凸平面的全域性最

深度學習中的優化演算法（待更）

    優化演算法可以使得神經網路執行的速度大大加快，機器學習的應用是一個高度依賴經驗的過程，伴隨著大量迭代的過程，需要訓練諸多的模型來找到最合適的那一個。其中的一個難點在於，深度學習沒有在大資料領域發揮最大的效果，我們可以利用一個巨大的資料集來訓練神經網路，

關於在深度學習中訓練資料集的batch的經驗總結

由於深度學習的網格很大，用來訓練的資料集也很大。因此不可能一下子將所有資料集都輸入到網路中，便引入了batch_size的概念，下面總結自己兩種常用的呼叫batch的方法 1、使用TensorFlow， tf.train.batch（）。 2、 offset = (offset

深度學習中的Xavier初始化和He Initialization（MSRA初始化）、Tensorflow中如何選擇合適的初始化方法?

Xavier初始化： 論文：Understanding the difficulty of training deep feedforward neural networks 論文地址：http://proceedings.mlr.press/v9/glorot10a/glorot10a

深度學習中常用的影象資料增強方法

影象資料增強方法概述 影象資料準備對神經網路與卷積神經網路模型訓練有重要影響，當樣本空間不夠或者樣本數量不足的時候會嚴重影響訓練或者導致訓練出來的模型泛化程度不夠，識別率與準確率不高！本文將會帶你學會如何對已有的影象資料進行資料增強，獲取樣本的多樣性與資料的多

深度學習中的優化演算法

標準梯度下降法： 標準梯度下降先計算所有樣本彙總誤差，然後根據總誤差來更新權值 缺點：當訓練樣本比較大時，更新一次權值需要的時間比較長，因為要將所有的樣本都訓練一次才更新權值。 隨機梯度下降法： 隨機梯度下降隨機抽取一個樣本來計算誤差，然後更新權值 缺點：更新權值雖然非常快，

[優化]深度學習中的 Normalization 模型

來源：https://www.chainnews.com/articles/504060702149.htm 機器之心專欄 作者：張俊林 Batch Normalization （簡稱 BN）自從提出之後，因為效果特別好，很快被作為深度學習的標準工具應用在了各種場合。BN 大法雖然好，但是也存

深度學習中的梯度下降優化演算法綜述

1 簡介 梯度下降演算法是最常用的神經網路優化演算法。常見的深度學習庫也都包含了多種演算法進行梯度下降的優化。但是，一般情況下，大家都是把梯度下降系列演算法當作是一個用於進行優化的黑盒子，不瞭解它們的優勢和劣勢。 本文旨在幫助讀者構建各種優化演算法的直觀理解，以幫助你在訓練神經網

MxNet學習：優化深度學習中的記憶體消耗

在過去的十年中，深度學習的一個持續的趨勢是向更深更大的網路發展。儘管硬體效能迅速提高，但先進的深度學習模型仍在不斷挑戰GPU RAM的極限。因此，即使在今天，人們仍然希望找到一種方法來訓練更大的模型，同時消耗更少的記憶體。這樣做可以讓我們更快地進行訓練，使用更大的批處理大小，從而實現更高

深度學習中卷積和池化的總結

深度學習中卷積和池化的總結 涉及到padding的設定：https://www.jianshu.com/p/05c4f1621c7e 以及strides=[batch, height, width, channels]中，第一個、第三個引數必須為1的解釋。http://www.itdaa

深度學習中的各種卷積總結

現在隨著深度學習的發展，應不同任務和條件的神經網路層的不斷更新迭代，顯著地如出現不同的啟用函式、不同的卷積層型別，下面主要記錄深度學習中的各種卷積層。由於是轉載內容，就不貼人家的原內容啦，將原博主連結附在此，以便後期查閱：

深度學習中的優化器（optimizer）

今天學習tensorflow的過程中看到了tf.train.GradientDescentOptimizer 、tf.train.AdamOptimizer Adam、tf.train.MomentumOptimizer 這些，發現自己對優化器的認識還