深度學習之（十一）Deep learning中的優化方法：隨機梯度下降、受限的BFGS、共軛梯度法

　　三種常見優化演算法：SGD（隨機梯度下降），LBFGS（受限的BFGS），CG（共軛梯度法）。

1.SGD（隨機梯度下降）

隨機梯度下降(Stochastic Gradient Descent, SGD)是隨機和優化相結合的產物，是一種很神奇的優化方法，屬於梯度下降的一種，適用於大規模問題。

　　要想扯清楚它，還得先談談梯度下降。眾所周知，每個優化問題都會有一個目標函式F(w)，梯度下降採用迭代的策略，從初始點w0開始，每次沿著目標函式在當前點的負梯度方向前進一段距離，即

wt+1=wt−ηt∇F(wt)wt+1=wt−ηt∇F(wt)

只要步長ηtηt設定合理，就可以得到一個單調遞減的序列f(w0),f(w1),⋯f(w0),f(w1),⋯，直至不再下降即可得到最優解w∗w∗。對於一般的優化問題，梯度下降可以找到區域性最優解，對於凸優化問題，梯度下降可以得到全域性最優解，下面我們只考慮凸優化問題。

　　考慮如下的目標函式

F(w)=Ei∼Dfi(w)F(w)=Ei∼Dfi(w) 其中每個fifi都是關於ww的凸函式，下標ii服從分佈DD。由期望的線性性有 ∇F(w)=Ei∼D∇fi(w)∇F(w)=Ei∼D∇fi(w) 顯然當DD是取值很多的離散分佈或是連續分佈時，∇F(w)∇F(w)計算開銷很大甚至根本無法計算，這個方法也就行不通了。但這樣的問題在機器學習領域又很常見，比如感知機、SVM、LASSO的優化目標都可以寫成如下的形式 λ

Ω(w)+1N∑i=1NL(w,xi)λΩ(w)+1N∑i=1NL(w,xi) 其中Ω(w)Ω(w)是關於ww的凸正則化項，L(w,xi)L(w,xi)是模型在樣本xixi上的損失，這裡DD就是在NN個離散點上概率均為1/N1/N的離散分佈。因此為了克服梯度下降的這個弱勢，隨機梯度下降應運而生。

　隨機梯度下降的想法很簡單，就是不直接計算梯度的精確值，而是用梯度的無偏估計

∇fi(w)代替之作為下降方向，即在t+1輪隨機挑選出下標i作如下更新：

wt+1=wt−ηt∇fi(wt)wt+1=wt−ηt∇fi(wt) 那麼肯定有人要問，這麼簡單靠譜麼？可以證明在一定條件下，這樣得到的序列f

(w0),f(w1),⋯f(w0),f(w1),⋯中的最小值依期望收斂到f(w∗)f(w∗)。具體來說，設 ηt≥0,∑t=0∞η2t<∞,∑t=0∞ηt=∞ηt≥0, ∑t=0∞ηt2<∞, ∑t=0∞ηt=∞ 並假設存在常數GG滿足對於任意t,it,i有E[∥∇fi(wt)∥2]≤G2E[∥∇fi(wt)∥2]≤G2及常數RR滿足E[∥w0−w∗∥2]≤R2E[∥w0−w∗∥2]≤R2，並記fbest(t)=min{f(w0),⋯,f(wt)}fbest(t)=min{f(w0),⋯,f(wt)}，那麼當t→∞t→∞時，E[fbest(t)]→f(w∗)E[fbest(t)]→f(w∗)。

　　設t+1輪隨機挑出的下標為i，那麼

∥wt+1−w∗∥2=∥wt−ηt∇fi(w)−w∗∥2=∥wt−w∗∥2−2ηt∇fi(w)⊤(wt−w∗)+η2t∥∇fi(w)∥2∥wt+1−w∗∥2=∥wt−ηt∇fi(w)−w∗∥2=∥wt−w∗∥2−2ηt∇fi(w)⊤(wt−w∗)+ηt2∥∇fi(w)∥2 結合條件期望的線性性有 E[∥wt+1−w∗∥2|wt]=E[∥wt−w∗∥2|wt]−2ηtE[∇fi(w)⊤(wt−w

深度學習之（十一）Deep learning中的優化方法：隨機梯度下降、受限的BFGS、共軛梯度法

深度學習之（十一）Deep learning中的優化方法：隨機梯度下降、受限的BFGS、共軛梯度法

Tensorflow深度學習之二十一：LeNet的實現（CIFAR-10資料集）

python學習筆記（十一）之函數

嵌入式核心及驅動開發之學習筆記（十一）中斷優化處理

各種音視訊編解碼學習詳解之編解碼學習筆記（十一）：Flash Video系列

學習裝置樹之（十一）Backlight

機器學習總結（十一）：深度學習演算法（CNN,SAE,等）及常見問題總結

一步一步學習Vue（十一）

Python學習筆記（十一）裝飾器

如鵬網學習筆記（十一）JQuery

Python學習筆記（十一）

EF學習筆記（十一）：實施繼承

R語言學習筆記（十一）：廣義線性模型

JavaScript學習筆記（十一）——閉包

學習筆記（十一）——數據庫的索引碎片、計劃緩存、統計信息

ShaderLab學習小結（十一）貼圖模糊效果

Linux學習筆記（十一）用戶組管理、用戶管理

hadoop學習筆記（十一）：MapReduce數據類型

Spark項目之電商用戶行為分析大數據平臺之（十一）JSON及FASTJSON

Nodejs學習筆記（十一）—數據采集器示例（request和cheerio）

深度學習之（十一）Deep learning中的優化方法：隨機梯度下降、受限的BFGS、共軛梯度法

相關推薦