1. 程式人生 > >CNN 細節一 batch和epoch以及找最小loss值得關係

CNN 細節一 batch和epoch以及找最小loss值得關係

半路出家,一直沒搞懂CNN底層執行關係,現在才慢慢清楚點

例子是出其理論學習者最好的幫手,So,我來個example

Example: 

15000個樣本,我們訓練模型的目的是找一組引數,使得該引數對應的模型能最大可能地符合所有樣本的值

(1)其實是根據loss function做梯度下降進行尋找能使loss functionz值最小的引數

   假設loss function 為f(X, A), 其中X=[x1,x2,.....xn]為一組我們要找的引數, A=[a1,a2,....,an]為我們的訓練樣本。

  通過在樣本A的基礎上對f(X, A)分別求x1,x2,x3...xn的偏導,來尋找函式f的最優解。

(2)15000個樣本,每個batch是15,一個epoch就是對15000個樣本跑一遍,一遍中有1000次迭代,每次迭代都通過 f(X,A)尋找到當前這組15個樣本情況下的最優引數。 然後進行1000迭代後就完成了一個epoch,也就對所有樣本跑了一遍。

(3)在進行多個epoch後,最終能找到最優的引數,訓練好模型。