原文連結
【導讀】梯度下降演算法是機器學習中使用非常廣泛的優化演算法，也是眾多機器學習演算法中最常用的優化方法。幾乎當前每一個先進的(state-of-the-art)機器學習庫或者深度學習庫都會包括梯度下降演算法的不同變種實現。但是，它們就像一個黑盒優化器，很難得到它們優缺點的實際解釋。Sebastian Ruder曾在去年發表博文 《梯度下降優化演算法綜述》（An overview of gradient descent optimization algorithms），詳細對比了梯度下降演算法中的不同變種，並幫助使用者根據具體需要進行使用。 近日Ruder在針對2017年優化演算法的一些新方法，在之前綜述的基礎上，整理出2017深度學習優化研究亮點，值得關注。
1. An overview of gradient descent optimization algorithms