Optimizer:

import tensorflow as tf
tf.train.GradientDescentOptimizer
tf.train.AdadeltaOptimizer
tf.train.AdagradOptimizer
tf.train.AdagradDAOptimizer
tf.train.MomentumOptimizer
tf.train.AdamOptimizer
tf.train.FtrlOptimizer
tf.train.ProximalGradientDescentOptimizer
tf.train.ProximalAdagradOptimizer
tf.
 
train.RMSPropOptimizer

各種優化器對比：

標準梯度下降法：
標準梯度下降先計算所有樣本彙總誤差，然後根據總誤差更新權值
隨機梯度下降法：
隨機梯度下降法隨機抽取一個樣本來計算誤差，然後更新權值
批梯度下降法
批梯度下降法是一種折中的方案，從總樣本中選取一個批次（比如一共有10000個樣本，隨機選取100個作為一個batch），然後計算這個batch的總誤差，根據總誤差來更新權值

暫時先寫這麼多，後續會持續更新細化每一個演算法的優缺點，最近被老師逼著寫論文，沒有很豐富的時間，請各位多多包涵。