在進行深度學習的過程中，我們經常會遇到一些自己不懂的概念和術語，比如，softmax， batch，min-batch，iterations，epoch，那麼如何快速和容易的理解這些術語呢？ 因為筆者也是深度學習的初學者，所以筆者在學習和瀏覽文章的過程中，把一些自己不太容易和理解的一些概率記錄了下來。希望對其他初學者也有所幫助。

@softmax 函式

softmax是一個函式，其主要用於輸出節點的分類，它有一個特點，所以的值相加會等於1. 從李巨集毅老師的PPT裡面找到了一張圖，感覺解釋的非常形象。先借花獻福分享給大家。

具體例子，可以舉影象識別，比如影象識別數字，0~9， 線設定影象識別的輸出數字為10個輸出節點，然後通過softmax演算法，算出對於一張影象的輸入，其經過神經網路的計算，會輸出10個值，那當前輸出的值就是0~9的可能性，但是總和是1.那個數字的輸出的概率最大，則這次手寫數字的識別結果就是那個數字。

@ batch VS min_batch VS Iteration

在學習深度學習或者使用Keras框架的時候，我們經常會遇到比如，設定batch和min-batch的值，讓其來訓練輸入樣本。 為了更好的理解這個概念，我們可以舉一個例子，

比如，我們有1050個樣本，如果我們設定 batch_size等於100(這個時候100就是min_batch)，演算法則會首先從訓練集取前100（1~100）個輸入資料去訓練網路；下一次取（101~200）,我們一直這樣迴圈，

知道我們把所有的訓練樣本都取到了。但是問題經常會發生在最後一個訓練樣本。比如1050不能被100整除，這個時候，我們對於後面的50個樣本可以單獨拿出來訓練；所以總共是11次訓練其網路引數的Iteration(迭代)。如果設定我們設定了batch等於1050，也就是全集（這個時候1050就是全集）,同時也訓練11次(Iteration)。

• min_batch的優點：

             只需要更少的記憶體

              訓練速度快

• min_batch的缺點：

              精度低

具體請見下面一張圖。

@ Epoch

Epoch就是把訓練陣列全部訓練完成的一個正向和反向計算的過程。比如，我們有1000個樣本，batch size是500，其將會有2個Iterations。這兩個Iteration完成一個

Epoch。太拗口了。。。。。。。。。。

後面遇到，將會繼續待續。。。。。。。

@ SGD

參考文獻：

https://stats.stackexchange.com/questions/153531/what-is-batch-size-in-neural-network

http://sebastianruder.com/optimizing-gradient-descent/