在深度學習專案裡常常用到一些梯度學習演算法，最常見的我們使用的SGD,Adagrad,Adam,RMSProp和momentum,這裡參考網上別人寫的教程簡要理解一下這些梯度下降演算法。

SGD

   說SGD,就必須先說一下批量梯度下降BGD,其訓練的是整個訓練集的梯度，即：

θ=θ−η∇θJ(θ)$$\theta =\theta -\eta {\mathrm{\nabla }}_{\theta }J(\theta )$$
其中η$\eta$是學習率，下同，用來控制更新引數的力度。優點是對於凸目標函式，其可以保證全域性最優，對於非凸目標函式，可以保證一個區域性最優。但是存在一個明顯的缺點，就是在資料量較大時更新會非常慢，無法處理動態產生的新樣本，在這種情況下，就需要考慮SGD。一般的SGD只利用單獨的資料，雖然優化速度快，但是可能會導致收斂更復雜，出現更多的動盪。所以我們一般使用的SGD實際上是MSGD。
   MSGD不同於原始的SGD只利用單個數據，這個梯度下降演算法是將整個資料分成n個batch，每個batch分成m個樣本，每次更新引數利用一個batch的資料（xi，yi)而不是整個訓練集的資料，其更新引數如下所示：

θ=θ−η∇θJ(θ;x(i,i+m);y(i,i+m))$$\theta =\theta -\eta {\mathrm{\nabla }}_{\theta }J(\theta ;x^{(i,i+m)};y^{(i,i+m)})$$
通過這種批量的梯度下降，減少了原始SGD引數更新中的動盪；同時利用先進深度學習庫中常見的高度優化矩陣操作來高效地計算小批量的梯度。
當然MSGD也存在許多困難，主要表現如下：
1.學習率選擇較為困難，太小的學習率收斂太慢，過大的學習率會偏離最優點。
2.目前可採用的方法是在訓練過程中調整學習率大小，例如模擬退火演算法：預先定義一個迭代次數m，每執行完m次訓練便減小學習率，或者當損失值低於一個閾值時減小學習率。然而迭代次數和閾值必須事先定義，因此無法適應資料集的特點。
3.一般情況下神經網路面臨的是非凸的優化函式，這也意味著優化容易陷入到區域性最優，也就是陷入到馬鞍面中，即在坡面上，一部分點是上升的，一部分點是下降的。而這種情況比較容易出現在平坦區域，在這種區域中，所有方向的梯度值都幾乎是0，此時SGD很難發揮作用。
介於此，可以使用一些優化演算法對SGD做進一步的優化，常見的有;

Momentum

   SGD的問題是其依賴於當前batch的梯度，因此導致下降不穩定，出現來回波動的情況，如下圖所示：

所以引入動量的方式，加速SGD的優化過程，它模擬的是物體運動時的慣性，在更新梯度時上保留之前更新的方向，同時利用當前batch的梯度微調最終的更新方向。這樣一來，可以在一定程度上增加穩定性，從而學習地更快，並且還有一定擺脫區域性最優的能力：

vt=γvt−1+η∇θJ(θ)$$v_t=\gamma v_{t-1}+\eta {\mathrm{\nabla }}_{\theta }J(\theta )$$
θ=θ−vt$$\theta =\theta -v_t$$
根據上式，可以更直觀理解動量的含義，當前梯度和上次梯度加權，當方向一致時，累加導致更新步長變大；如果方向不同，則相互抵消導致更新趨向於平衡。

Adagrad

   Adagrad演算法能夠在訓練中自動的對learning rate進行調整，對於出現頻率較低引數採用較大的α更新；相反，對於出現頻率較高的引數採用較小的α更新。因此，Adagrad非常適合處理稀疏資料。Adagrad為每個引數θi${\theta }_i$提供一個和自身相關的學習率：

θt+1,i=θt,i−ηGt,ii+ϵ‾‾‾‾‾‾‾‾√∇θJ(θt,i)$${\theta }_{t+1,i}={\theta }_{t,i}-\frac{\eta }{\sqrt{G_{t,ii}+ϵ}}{\mathrm{\nabla }}_{\theta }J({\theta }_{t,i})$$
   其中Gt$G_t$是對角矩陣，每個對角線位置i,i為對應的引數θi${\theta }_i$從第一輪到第t輪的平方和，ϵ$ϵ$是平滑項，防止除0。通過該式，還可以看出，隨著訓練次數的增加，分母變大，學習率會自動下降。但是訓練的中後期，分母上梯度平方的累加將會越來越大，從而梯度趨近於0，使得訓練提前結束。

RMSprop

   RMSprop是Geoff Hinton提出的一種自適應學習率方法。Adagrad會累加之前所有的梯度平方，而RMSprop僅僅是計算對應的平均值，因此可緩解Adagrad演算法學習率下降較快的問題。下面的gt,i$g_{t,i}$表示∇θJ(θt,i)${\mathrm{\nabla }}_{\theta }J({\theta }_{t,i})$

E[g2]t=γE[g2]t−1+(1−γ)g2t$$E[g^2{]}_t=\gamma E[g^2{]}_{t-1}+(1-\gamma )g_t^2$$
θt+1=θt−ηE[g2]t+ϵ‾‾‾‾‾‾‾‾‾‾√gt$${\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{E[g^2{]}_t+ϵ}}{g}_t$$

Adam

   Adam(Adaptive Moment Estimation)是另一種自適應學習率的方法。與RMSprop相比，其在梯度平方估計（二階矩）的基礎上增加了對梯度（一階矩）的估計，Adam的優點主要在於經過偏置校正後，每一次迭代學習率都有個確定範圍，使得引數比較平穩。公式表達如下：

mt=β1mt−1+(1−β1)gt$$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$
vt=β2vt−

相關推薦

幾種常見的Preference總結

DialogPreference共性 DialogPreference通用屬性 說明 android:dialogIco 對話方塊的icon android:dialogLayout dialog的contentView佈局 andro

資料結構(一)：幾種常見排序演算法比較

排序 0. 常見排序演算法效率比較 時間複雜度及穩定性比較 排序方法 平均方法 最優複雜度 最壞複雜度 輔助空間 穩定性 氣泡排序 O(

幾種常見排序演算法及其效率

介紹了幾種交換排序的演算法 1。氣泡排序（Bubble Sort）是一種簡單的排序演算法。它重複地走訪過要排序的數列，一次比較兩個元素，如果他們的順序錯誤就把他們交換過來。走訪數列的工作是重複地進行直到沒有再需要交換，也就是說該數列已經排序完成。這個演算法的名字由來是因為越小的元素會經由交換慢慢“浮”到數列

幾種常用排序演算法總結

選擇排序、快速排序、希爾排序、堆排序不是穩定的排序演算法，氣泡排序、插入排序、歸併排序和基數排序是穩定的排序演算法。 冒泡法：  這是最原始，也是眾所周知的最慢的演算法了。他的名字的由來因為它的工作看來象是冒泡：  複雜度為O(n*n)。當資料為正序，將不會有交換。複雜度為

自己整理的幾種常見排序演算法，及時間複雜度空間複雜度。c++程式設計

/***************************************************** copyright (C), 2014-2015, Lighting Studio. Co.,     Ltd.  File name： Author:fhb  

幾種常見排序演算法java實現

public class sort { public static void main(String[] args) { int[] a= {10,1,35,14,9,12,11}; int c=(int)Math.floor(Math.random()*7);

幾種常見加密演算法的比較

1.DES加密演算法 DES加密演算法是一種分組密碼，以64位為分組對資料加密，它的金鑰長度是56位，加密解密用同一演算法。DES加密演算法是對金鑰進行保密，而公開演算法，包括加密和解密演算法。這樣，只有掌握了和傳送方相同金鑰的人才能解讀由DES加密演算法加密的密文資料。因

幾種常見的梯度演算法總結

   在深度學習專案裡常常用到一些梯度學習演算法，最常見的我們使用的SGD,Adagrad,Adam,RMSProp和momentum,這裡參考網上別人寫的教程簡要理解一下這些梯度下降演算法。 SGD    說SGD,就必須先說一下批量梯度下降BGD,其

幾種常見的模式識別演算法整理和總結

這學期選了門模式識別的課。發現最常見的一種情況就是，書上寫的老師ppt上寫的都看不懂，然後繞了一大圈去自己查資料理解，回頭看看發現，Ah-ha，原來本質的原理那麼簡單，自己一開始只不過被那些看似formidable的細節嚇到了。所以在這裡把自己所學的一些點記錄下來，供備忘，也

幾種常見模式識別演算法整理和總結

這學期選了門模式識別的課。發現最常見的一種情況就是，書上寫的老師ppt上寫的都看不懂，然後繞了一大圈去自己查資料理解，回頭看看發現，Ah-ha，原來本質的原理那麼簡單，自己一開始只不過被那些看似formidable的細節嚇到了。所以在這裡把自己所學的一些點記錄下來，供備忘

淺析幾種常見演算法

參考部落格：https://blog.csdn.net/Bloodyrabbits/article/details/78445036  一、遞迴與分支策略 1.分治法的設計思想是，將一個難以直接解決的大問題，分割成一些規模較小的相同問題，以便各個擊破，分而治之。 2.如果原問題可分割成k個子問

幾種初級排序演算法的總結

@TOC 幾種初級排序演算法的總結 排序就是將一組物件按照某種邏輯順序重新排列的過程。 在本文中我們使用的操作： 遍歷陣列 比較兩個物件（本文中所有程式碼示例中的less方法） 交換兩個物件 （本文中所有程式碼示例中的

常見的幾種負載均衡演算法

1、輪詢將所有請求，依次分發到每臺伺服器上，適合伺服器硬體相同的場景。優點：伺服器請求數目相同； 缺點：伺服器壓力不一樣，不適合伺服器配置不同的情況； 2、隨機請求隨機分配到各臺伺服器上。優點：使用簡單； 缺點：不適合機器配置不同的場景 3、最少連結將請求分配到連線數最少的伺服器上（目前處理請求最少的

java中幾種常見的排序演算法實現

在Java中得資料結構比較 | 資料機構 | 優點| 缺點 | |陣列 | 插入快，在直到下標得情況下可快速地存取| 查詢慢，刪除慢，大小固定 | |有序陣列 | 比無序得陣列查詢快|刪除和插入慢，大小固定 | |棧 | 提供後進先出方式的存取| 存取其他項很

幾種常見DRL(深度強化學習)方法總結與對比之前提基本概念

版權宣告：本文為博主原創文章，未經博主允許不得轉載。                    https://blog.csdn.net/FrankieHello/article/details/78821488                 從今年的九月份到現在，接觸機器學

幾種常見的排程演算法

一、處理機排程相關基本概念 1、排程方式和排程演算法的若干準則 1)面向使用者的準則：週轉時間短（CPU執行用時Ts、週轉時間T=Ts+Tw、帶權週轉時間W= T/Ts）、響應時間快、均衡性、截止時間的保證、優先權準則 2)面向系統的準則：系統吞吐量高、處理機利

幾種常見的排序演算法及它們之間的比較

1.穩定性比較 插入排序、氣泡排序、二叉樹排序、二路歸併排序及其他線形排序是穩定的 選擇排序、希爾排序、快速排序、堆排序是不穩定的 2.時間複雜性比較 插入排序、氣泡排序、選擇排序的時間複雜性為O(n2) 其它非線形排序的時間複雜性為O(nlog2n) 線形排序的

適配ListView的幾種常見Adapter的用法總結

1. BaseAdapter （1）用法 它是所有Adapter的父類，是一個通用的基礎Adapter，繼承它時必須複寫四個方法 ：getCount(), getItem(), getItemId

幾種常見演算法的Python實現

1、選擇排序 選擇排序是一種簡單直觀的排序演算法。它的原理是這樣：首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置，然後，再從剩餘未排序元素中繼續尋找最小（大）元素，然後放到已排序序列的後面，以此類推，直到所有元素均排序完畢。演算法實現如下： #找到最小的元素 def Fin

用php實現幾種常見的排序演算法

一、氣泡排序 氣泡排序理解起來是最簡單，但是時間複雜度（O(n^2)）也是最大的之一，實現程式碼如下： function bubbleSort($arr) { $len = count(