tensorflow中Batch normalization實現多GPU同步（未完成）

• 在tensorflow框架中，對於BN層的定義在tf.layers.batch_normalization()中，從上面文章中可以看出，BN層需要一個可更新的均值和方差，如果是多GPU訓練過程中，原理上各個GPU之間的均值和方差應當保持一致，實時進行同步更新，但是我的指導老師說，他們之間關於這個引數在訓練的過程中並沒有保持同步更新，也就是說，在訓練的過程中這幾個引數會有不一致的情況，所以在使用這個方法進行BN操作的時候，就會造成不同GPU上有差異的現象。由此，需要自己手動實現一個BN的方法，從而使得多個GPU在沒個batch訓練完保持同步。
• 具體程式碼實現如下（參照別人的工程照搬過來的，沒特別仔細看，應該是實現這個目的，並且沒啥毛病。）：

def batch_norm(inputs, phase_train, decay=0.9, eps=1e-5,name=''):
    """Batch Normalization

       Args:
           inputs: input data(Batch size) from last layer
           phase_train: when you test, please set phase_train "None"
       Returns:
           output for next layer
    """
 

    with tf.variable_scope('BN'+name):
        gamma = tf.get_variable("gamma", shape=inputs.get_shape()[-1], dtype=tf.float32, initializer=tf.constant_initializer(1.0))
        beta = tf.get_variable("beta", shape=inputs.get_shape()[-1], dtype=tf.float32, initializer=tf.constant_initializer(0.0))
        pop_mean =
 
 tf.get_variable("pop_mean", trainable=False, shape=inputs.get_shape()[-1], dtype=tf.float32, initializer=tf.constant_initializer(0.0))
        pop_var = tf.get_variable("pop_var", trainable=False, shape=inputs.get_shape()[-1], dtype=tf.float32, initializer=tf.constant_initializer(1.0))
        axes = list(range(len(inputs.get_shape()) - 1))
        ####這裡往下是重點：   
        if phase_train != None:
            #TODO：這裡的mean和var應該從每塊GPU中取出來合併計算之後再使用，但是不會。。心賽
            batch_mean, batch_var = tf.nn.moments(inputs, axes)
            train_mean = tf.assign(pop_mean, pop_mean * decay + batch_mean*(1 - decay))
            train_var = tf.assign(pop_var, pop_var * decay + batch_var * (1 - decay))
            with tf.control_dependencies([train_mean, train_var]):
                return tf.nn.batch_normalization(inputs, batch_mean, batch_var, beta, gamma, eps)
        else:
            return tf.nn.batch_normalization(inputs, pop_mean, pop_var, beta, gamma, eps)

以上。