深度學習中的Batch Normalization

在看 ladder network(https://arxiv.org/pdf/1507.02672v2.pdf) 時初次遇到batch normalization（BN）. 文中說BN能加速收斂等好處，但是並不理解，然後就在網上搜了些關於BN的資料。

看了知乎上關於深度學習中 Batch Normalization為什麼效果好？和CSDN上一個關於Batch Normalization 的學習筆記，總算對BN有一定的瞭解了。這裡只是總結一下BN的具體操作流程，對於BN更深層次的理解，為什麼要BN，BN是否真的有效也還在持續學習和實驗中。

BN就是在神經網路的訓練過程中對每層的輸入資料加一個標準化處理。
這裡寫圖片描述

傳統的神經網路，只是在將樣本x輸入輸入層之前對x進行標準化處理（減均值，除標準差），以降低樣本間的差異性。BN是在此基礎上，不僅僅只對輸入層的輸入資料x進行標準化，還對每個隱藏層的輸入進行標準化。

這裡寫圖片描述

標準化後的x乘以權值矩陣Wh1加上偏置bh1得到第一層的輸入wh1x+bh1,經過啟用函式得到h1=ReLU(wh1x+bh1)，然而加入BN後, h1的計算流程如虛線框所示：
1. 矩陣x先經過Wh1的線性變換後得到s1 (注：因為減去batch的平均值μB後，b的作用會被抵消掉，所提沒必要加入b了）

將s1再減去batch的平均值μB，併除以batch的標準差σ2B+ϵ−−−−−

√得到s2. ϵ是為了避免除數為0時所使用的微小正數。
其中μB=1m∑mi=0Wh1xi
σ2B=1m∑mi=0(Wh1xi−μB)2
(注：由於這樣做後s2基本會被限制在正態分佈下，使得網路的表達能力下降。為解決該問題，引入兩個新的引數：γ,β. γ和β是在訓練時網路自己學習得到的。）
將s2乘以γ調整數值大小，再加上β增加偏移後得到s3
s3經過啟用函式後得到h1

需要注意的是，上述的計算方法用於在訓練過程中。在測試時，所使用的μ和σ2是整個訓練集的均值μp和方差σ2p. 整個訓練集的均值μp和方差σ2p的值通常是在訓練的同時用移動平均法來計算的.

在看具體程式碼之前，先來看兩個求平均值函式的用法：

mean, variance = tf.nn.moments(x, axes, name=None, keep_dims=False)

這個函式的輸入引數x表示樣本，形如[batchsize, height, width, kernels]
axes表示在哪個維度上求解，是個list
函式輸出均值和方差

'''
batch = np.array(np.random.randint(1, 100, [10, 5]))開始這裡沒有定義資料型別，batch的dtype=int64,導致後面sess.run([mm,vv])時老報InvalidArgumentError錯誤，原因是tf.nn.moments中的計算要求引數是float的
'''
batch = np.array(np.random.randint(1, 100, [10, 5]),dtype=np.float64)
mm, vv=tf.nn.moments(batch,axes=[0])#按維度0求均值和方差
#mm, vv=tf.nn.moments(batch,axes=[0,1])求所有資料的平均值和方差
sess = tf.Session()
print batch
print sess.run([mm, vv])#一定要注意引數型別
sess.close()

輸出結果：

[[ 53.   9.  67.  30.  69.]
 [ 79.  25.   7.  80.  16.]
 [ 77.  67.  60.  30.  85.]
 [ 45.  14.  92.  12.  67.]
 [ 32.  98.  70.  98.  48.]
 [ 45.  89.  73.  73.  80.]
 [ 35.  67.  21.  77.  63.]
 [ 24.  33.  56.  85.  17.]
 [ 88.  43.  58.  82.  59.]
 [ 53.  23.  34.   4.  33.]]
[array([ 53.1,  46.8,  53.8,  57.1,  53.7]), array([  421.09,   896.96,   598.36,  1056.69,   542.61])]

ema = tf.train.ExponentialMovingAverage(decay) 求滑動平均值需要提供一個衰減率。該衰減率用於控制模型更新的速度，ExponentialMovingAverage 對每一個（待更新訓練學習的）變數（variable）都會維護一個影子變數（shadow variable）。影子變數的初始值就是這個變數的初始值，

shadow_variable=decay×shadow_variable+(1−decay)×variable

由上述公式可知， decay 控制著模型更新的速度，越大越趨於穩定。實際運用中，decay 一般會設定為十分接近 1 的常數（0.99或0.999）。為了使得模型在訓練的初始階段更新得更快，ExponentialMovingAverage 還提供了 num_updates 引數來動態設定 decay 的大小：

decay=min{decay,1+num_updates10+num_updates}

對於滑動平均值我是這樣理解的（也不知道對不對，如果有覺得錯了的地方希望能幫忙指正）

假設有一串時間序列 {a1,a2,a3,⋯,at,a

深度學習中的Batch Normalization

深度學習中的Normalization模型

[優化]深度學習中的 Normalization 模型

【深度學習】batch normalization

詳解深度學習中的Normalization，不只是BN（2）

深度學習之Batch Normalization

深度學習中的Batch Normalization

關於在深度學習中訓練資料集的batch的經驗總結

深度學習中的 epoch iteration batch-size

深度學習中的batch的大小對學習效果的影響

深度學習中Dropout和Layer Normalization技術的使用

深度學習中的三種梯度下降方式：批量（batch），隨機（stochastic），小批量（mini-batch）

深度學習中的歸一化(normalization)和正則化(regularization)

[6]深度學習和Keras---- 深度學習中的一些難理解的基礎概念：softmax， batch，min-batch，iterations，epoch，SGD

深度學習中常見的相關概念及TensorFlow中的batch和minibatch

資深程序員帶你玩轉深度學習中的正則化技術（附Python代碼）！

卷積在深度學習中的作用（轉自http://timdettmers.com/2015/03/26/convolution-deep-learning/）

關於深度學習中的batch_size

深度學習中 GPU 和視訊記憶體分析深度學習中 GPU 和視訊記憶體分析

論文學習：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

【遷移學習】簡述遷移學習在深度學習中的應用

深度學習中的Batch Normalization

相關推薦