在對神經網路模型進行訓練的時候，訓練的就是模型中的Weight、Bias引數，要想模型效果好，當然引數就要訓練到一個好的結果了，因此引數的初始化在訓練時也起到了非常重要的作用，好的初始化引數可以加快模型的收斂，儘快得到好的效果，否則容易使模型的收斂變慢或者造成結果的發散。在tensorflow中有很多關於引數初始化的方法，以下內容轉自以下連結：

http://www.mamicode.com/info-detail-1835147.html

1、tf.constant_initializer()

也可以簡寫為tf.Constant()

初始化為常數，這個非常有用，通常偏置項就是用它初始化的。

由它衍生出的兩個初始化方法：

a、 tf.zeros_initializer()， 也可以簡寫為tf.Zeros()

b、tf.ones_initializer(), 也可以簡寫為tf.Ones()

例：在卷積層中，將偏置項b初始化為0，則有多種寫法：

conv1 = tf.layers.conv2d(batch_images, 
                         filters=64,
                         kernel_size=7,
                         strides=2,
                         activation=tf.nn.relu,
                         kernel_initializer
 
=tf.TruncatedNormal(stddev=0.01)
                         bias_initializer=tf.Constant(0),
                        )

或者：

bias_initializer=tf.constant_initializer(0)

或者：

bias_initializer=tf.zeros_initializer()

或者：

bias_initializer=tf.Zeros()

例：如何將W初始化成拉普拉斯運算元？

value = [1, 1, 1, 1, -8, 1, 1, 1，1]
init = tf.constant_initializer(value)
W
 
= tf.get_variable(‘W‘, shape=[3, 3], initializer=init)

2、tf.truncated_normal_initializer()

或者簡寫為tf.TruncatedNormal()

生成截斷正態分佈的隨機數，這個初始化方法好像在tf中用得比較多。

它有四個引數（mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32)，分別用於指定均值、標準差、隨機數種子和隨機數的資料型別，一般只需要設定stddev這一個引數就可以了。

例：

conv1 = tf.layers.conv2d(batch_images, 
                         filters=64,
                         kernel_size=7,
                         strides=2,
                         activation=tf.nn.relu,
                         kernel_initializer=tf.TruncatedNormal(stddev=0.01)
                         bias_initializer=tf.Constant(0),
                        )

或者：

conv1 = tf.layers.conv2d(batch_images, 
                         filters=64,
                         kernel_size=7,
                         strides=2,
                         activation=tf.nn.relu,
                         kernel_initializer=tf.truncated_normal_initializer(stddev=0.01)
                         bias_initializer=tf.zero_initializer(),
                        )

3、tf.random_normal_initializer()

可簡寫為 tf.RandomNormal()

生成標準正態分佈的隨機數，引數和truncated_normal_initializer一樣。

4、random_uniform_initializer = RandomUniform()

可簡寫為tf.RandomUniform()

生成均勻分佈的隨機數，引數有四個（minval=0, maxval=None, seed=None, dtype=dtypes.float32)，分別用於指定最小值，最大值，隨機數種子和型別。

5、tf.uniform_unit_scaling_initializer()

可簡寫為tf.UniformUnitScaling()

和均勻分佈差不多，只是這個初始化方法不需要指定最小最大值，是通過計算出來的。引數為（factor=1.0, seed=None, dtype=dtypes.float32)

max_val = math.sqrt(3 / input_size) * factor

這裡的input_size是指輸入資料的維數，假設輸入為x, 運算為x * W，則input_size= W.shape[0]

它的分佈區間為[ -max_val, max_val]

6、tf.variance_scaling_initializer()

可簡寫為tf.VarianceScaling()

引數為（scale=1.0,mode="fan_in",distribution="normal",seed=None，dtype=dtypes.float32)

scale: 縮放尺度（正浮點數）

mode:  "fan_in", "fan_out", "fan_avg"中的一個，用於計算標準差stddev的值。

distribution：分佈型別，"normal"或“uniform"中的一個。

當 distribution="normal" 的時候，生成truncated normal   distribution（截斷正態分佈） 的隨機數，其中stddev = sqrt(scale / n) ，n的計算與mode引數有關。

      如果mode = "fan_in"， n為輸入單元的結點數；         

      如果mode = "fan_out"，n為輸出單元的結點數；

       如果mode = "fan_avg",n為輸入和輸出單元結點數的平均值。

當distribution="uniform”的時候 ，生成均勻分佈的隨機數，假設分佈區間為[-limit, limit]，則

      limit = sqrt(3 * scale / n)

7、tf.orthogonal_initializer()

簡寫為tf.Orthogonal()

生成正交矩陣的隨機數。

當需要生成的引數是2維時，這個正交矩陣是由均勻分佈的隨機數矩陣經過SVD分解而來。

8、tf.glorot_uniform_initializer()

也稱之為Xavier uniform initializer，由一個均勻分佈（uniform distribution)來初始化資料。

假設均勻分佈的區間是[-limit, limit],則

limit=sqrt(6 / (fan_in + fan_out))

其中的fan_in和fan_out分別表示輸入單元的結點數和輸出單元的結點數。

9、glorot_normal_initializer（）

也稱之為 Xavier normal initializer. 由一個 truncated normal distribution來初始化資料.

stddev = sqrt(2 / (fan_in + fan_out))

其中的fan_in和fan_out分別表示輸入單元的結點數和輸出單元的結點數。