曾經多次看到別人說起，在選擇Optimizer的時候默認就選Adam。這樣的建議其實比較尷尬，如果有一點科學精神的人，其實就會想問為什麽，並搞懂這一切，這也是我開這個Optimizer系列的原因之一。前面介紹了Momentum，也介紹了RMSProp，其實Adam就是二者的結合，再加上偏差修正(Bias Correction)。

首先，在Adam算法叠代過程中，需要計算各個時刻梯度的Exponential Moving Average，這一步驟來源於Momentum算法：

第二，計算各個時刻梯度平方的Exponential Moving Average，這一步驟來源於RMSProp算法：

第三步，分別對二者最Bias Correction：

最後，將算法合並：

Adam Optimization Algorithm