文章來自微信公眾號：【機器學習煉丹術】。作者WX：cyx645016617. 參考目錄： [toc] 下篇的內容中，主要講解這些內容： - 四個的池化層； - 兩個Normalization層; ## 1 池化層 和卷積層相對應，每一種池化層都有```1D,2D,3D```三種類型，這裡主要介紹2D處理影象的一個操作。1D和3D可以合理的類推。 ### 1.1 最大池化層 ```python tf.keras.layers.MaxPooling2D( pool_size=(2, 2), strides=None, padding="valid", data_format=None, **kwargs ) ``` **這個strides在預設的情況下就是步長為2** 下面看個例子： ```python import tensorflow as tf x = tf.random.normal((4,28,28,3)) y = tf.keras.layers.MaxPooling2D( pool_size=(2,2)) print(y(x).shape) >>> (4, 14, 14, 3) ``` 如果你把strides改成1： ```python import tensorflow as tf x = tf.random.normal((4,28,28,3)) y = tf.keras.layers.MaxPooling2D( pool_size=(2,2), strides = 1) print(y(x).shape) >>> (4, 27, 27, 3) ``` 如果再把padding改成```‘same’```: ```python import tensorflow as tf x = tf.random.normal((4,28,28,3)) y = tf.keras.layers.MaxPooling2D( pool_size=(2,2), strides = 1, padding='same') print(y(x).shape) >>> (4, 28, 28, 3) ``` 這個padding預設是```'valid'```，一般strides為2，padding是valid就行了。 ### 1.2 平均池化層 和上面的最大池化層同理，這裡就展示一個API就不再多說了。 ```python tf.keras.layers.AveragePooling2D( pool_size=(2, 2), strides=None, padding="valid", data_format=None, **kwargs ) ``` ### 1.3 全域性最大池化層 ```python tf.keras.layers.GlobalMaxPooling2D(data_format=None, **kwargs) ``` 這個其實相當於```pool_size```等於特徵圖尺寸的一個最大池化層。看一個例子： ```python import tensorflow as tf x = tf.random.normal((4,28,28,3)) y = tf.keras.layers.GlobalMaxPooling2D() print(y(x).shape) >>> (4, 3) ``` 可以看到，一個通道只會輸出一個值，因為我們的輸入特徵圖的尺寸是$28\times 28$，所以這裡的全域性最大池化層等價於```pool_size=28```的最大池化層。 ### 1.4 全域性平均池化層 與上面的全域性最大池化層等價。 ```python tf.keras.layers.GlobalAveragePooling2D(data_format=None, **kwargs) ``` ## 2 Normalization Keras官方只提供了兩種Normalization的方法，一個是BatchNormalization，一個是LayerNormalization。雖然沒有提供InstanceNormalization和GroupNormalization的方法，我們可以通過修改BN層的引數來構建。 ### 2.1 BN ```python tf.keras.layers.BatchNormalization( axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer="zeros", gamma_initializer="ones", moving_mean_initializer="zeros", moving_variance_initializer="ones", beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, gamma_constraint=None, renorm=False, renorm_clipping=None, renorm_momentum=0.99, fused=None, trainable=True, virtual_batch_size=None, adjustment=None, name=None, **kwargs ) ``` 我們來詳細講解一下引數： - **axis**：整數。表示哪一個維度是通道數維度，預設是-1，表示是最後一個維度。如果之前設定了```channels_first```,那麼需要設定axis=1. - **momentum**：當training過程中，Batch的均值方差會根據batch計算出來，在預測或者驗證的時候，這個均值方差是採用training過程中計算出來的滑動均值和滑動方差的。具體的計算過程是：  - **epsilon**:一個防止運算除法除以0的一個極小數，一般不做修改； - **center**：True的話，則會有一個可訓練引數beta，也就是beta均值的這個offset；如果是False的話，這個BN層則退化成以0為均值，gamma為標準差的Normalization。預設是True，一般不做修改。 - **scale**：與center類似，預設是True。如果是False的話，則不使用gamma引數，BN層退化成以beta為均值，1為標準差的Normalization層。 - 其他都是初始化的方法和正則化的方法，一般不加以限制，使用的方法在上節課也已經講解了，在此不加贅述。 **這裡需要注意的一點是，keras的API中並沒有像PyTorch的API中的這個引數group，這樣的話，就無法衍生成GN和InstanceN層了，在之後的內容，會在Tensorflow_Addons庫中介紹** ### 2.2 LN ```python tf.keras.layers.LayerNormalization( axis=-1, epsilon=0.001, center=True, scale=True, beta_initializer="zeros", gamma_initializer="ones", beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, gamma_constraint=None, trainable=True, name=None, **kwargs ) ``` 引數和BN的引數基本一致。直接看一個例子： ```python import tensorflow as tf import numpy as np x = tf.constant(np.arange(10).reshape(5,2)*10, dtype=tf.float32) print(x) y = tf.keras.layers.LayerNormalization(axis=1) print(y(x)) ``` 執行結果為： ```python tf.Tensor( [[ 0. 10.] [20. 30.] [40. 50.] [60. 70.] [80. 90.]], shape=(5, 2), dtype=float32) tf.Tensor( [[-0.99998 0.99998] [-0.99998 0.99998] [-0.99998 0.99998] [-0.99998 0.99998] [-0.99998 0.99998]], shape=(5, 2), dtype=float32) ``` 我在之前的文章中已經介紹過了LN，BN，GN，IN這幾個歸一化層的詳細原理，不瞭解的可以看本文最後的相關連結中找