本文是Deep Learning 之 最優化方法系列文章的Momentum（動量）方法。主要參考Deep Learning 一書。

先上結論：

1.動量方法主要是為了解決Hessian矩陣病態條件問題（直觀上講就是梯度高度敏感於引數空間的某些方向）的。

2.加速學習

3.一般將引數設為0.5,0.9，或者0.99，分別表示最大速度2倍，10倍，100倍於SGD的演算法。

4.通過速度v，來積累了之間梯度指數級衰減的平均，並且繼續延該方向移動： 

再看看演算法： 

動量演算法直觀效果解釋：

  如圖所示，紅色為SGD+Momentum。黑色為SGD。可以看到黑色為典型Hessian矩陣病態的情況，相當於大幅度的徘徊著向最低點前進。    而由於動量積攢了歷史的梯度，如點P前一刻的梯度與當前的梯度方向幾乎相反。因此原本在P點原本要大幅徘徊的梯度，主要受到前一時刻的影響，而導致在當前時刻的梯度幅度減小。

    直觀上講就是，要是當前時刻的梯度與歷史時刻梯度方向相似，這種趨勢在當前時刻則會加強；要是不同，則當前時刻的梯度方向減弱。 

從另一個角度講：

  要是當前時刻的梯度與歷史時刻梯度方向相似，這種趨勢在當前時刻則會加強；要是不同，則當前時刻的梯度方向減弱。    假設每個時刻的梯度g總是類似，那麼由我們可以直觀的看到每次的步長為： 

 

即當設為0.5,0.9，或者0.99，分別表示最大速度2倍，10倍，100倍於SGD的演算法。