1. 程式人生 > >通過實例詳解隨機梯度與梯度下降

通過實例詳解隨機梯度與梯度下降

lns 情況 line strong spa www lin span 理論

一、梯度下降、隨機梯度下降、批量梯度下降

  • 梯度下降:梯度下降中,對於θ 的更新,所有的樣本都有貢獻,也就是參與調整θ 。其計算得到的是一個標準梯度。因而理論上來說一次更新的幅度是比較大的。如果樣本不多的情況下,當然是這樣收斂的速度會更快。
  • 隨機梯度下降:隨機梯度下降法,隨機用樣本中的一個例子來近似總體樣本,來調整θ 。所以隨機梯度下降是會帶來一定的問題,因為計算得到的並不是準確的全局的梯度,容易陷入到局部最優解中

  • 批量梯度下降:批量的梯度下降就是一種折中的方法,他用了一些小樣本來近似全部的,其本質就是一個樣本不太準,那就用30或50個樣本。那比隨機的要準不少,而且批量的話還是非常能夠準確反映總體樣本的一個分布情況的。

通過實例詳解隨機梯度與梯度下降