1. 程式人生 > >深度學習常用概念!

深度學習常用概念!

1.深度學習中的batchsize, iterator, epoch

batchsize:批大小,比如SGD中的BP一次就是用的一批的資料
iterator:迭代次數,1個iterator相當於用一個batch訓練一次
epoch:訓練集中全部的資料被用過一次,叫一個epoch
舉個例子,在不考慮每個batch之間發生樣本交叉的情況下,假設有1000個樣本,batchsize是10,那麼用過全部的樣本訓練模型,需要1個epoch,100次iterator.

2.gallery set (參考影象集或者原型影象集)      Probe set(測試影象集合)

該論文的19頁有如下描述:在FERET 評估協議中,演算法設計者需要區分三個不同的集合:訓練集,參考影象集(或者
原型影象集,gallery set)、測試影象集合(Probe set=test set),其中gallery 集和probe 集供測試時使用。“訓
練必須在測試開始之前完成”暗示訓練是離線完成的,演算法不能根據Gallery 集來調整系統引數

通過和Ran He老師討論已經徹底搞清楚了:
比如他的CVPR 2012論文,用PCA+NN。人臉識別是一個開集問題,人臉驗證verification是一個閉集問題。訓練樣本可能是甲乙,測試樣本可能是丙丁。通過訓練樣本來學習PCA的投影向量W,降到多少維可以搜尋,他的CVPR 2012論文PCA是儲存98%能量,LDA是降到c-1維。和Ran He已討論清楚搜尋維數的方法:如果降到10維,取W的前10列分別乘以gallery和Probe,再用最近鄰分類;類似降到20維,取W的前20列分別乘以gallery和Probe,再用最近鄰分類。gallery相當於新的訓練集,在Probe上測試。ACCV 2012 tutorial Structured Sparsity via Half-quadratic Minimization的S1-SR的第八頁。在The CAS-PEAL large-scale Chinese face database and baseline evaluations (TSMCA 2008)P155也有Training set、 gallery set、Probe set定義