epoch、iteration、batch_size

  深度學習中經常看到epoch、 iteration和batchsize，下面說說這三個的區別：
  1）batchsize：批大小。在深度學習中，一般採用SGD訓練，即每次訓練在訓練集中取batchsize個
樣本訓練；
  2）iteration：1個iteration等於使用batchsize個樣本訓練一次；batch 需要完成一個 epoch 的次數。記住：在一個 epoch 中，batch 數和迭代數是相等的。
  3）epoch：1個epoch等於使用訓練集中的全部樣本訓練一次；

例子

  對於一個有 2000 個訓練樣本的資料集。將 2000 個樣本分成大小為 500 的 batch，那麼完成一個 epoch 需要 4 個 iteration。