1. 程式人生 > >滑動平均模型:使用ExponentialMovingAverage

滑動平均模型:使用ExponentialMovingAverage

參考自:TensorFlow 實戰Google深度學習框架 

import tensorflow as tf

#定義一個變數用於計算滑動平均,這個變數的初始值為0。
v1 = tf.Variable(0, dtype=tf.float32)
#此變數模擬神經網路中的迭代的輪數,可以用於動態控制衰減率
step = tf.Variable(0, trainable=False)

#定義了一個滑動平均類,初始化給定了衰減率(0.99)和控制率的變數step
ema = tf.train.ExponentialMovingAverage(0.99, step)
#定義一個更新變數滑動平均的操作,這裡需要給定一個列表,每次執行這個操作時,這個列表的變數都會被更新
maintain_averages_op = ema.apply([v1])

with tf.Session() as sess:
    #初始化所有變數
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    #通過ema.average(v1)獲取滑動平均之後變數的取值。在初始化之後變數v1的值和v1的滑動平均都為0
    print(sess.run([v1, ema.average(v1)]))

    #更新變數v1的值到5
    sess.run(tf.assign(v1, 5))
    #更新v1的滑動平均值,衰減率為min{0.99, (1 + step)/(10+step)) = 0.1} = 0.1
    #所以v1的滑動平均會被更新為0.1*0 + 0.9*5 = 4.5

    sess.run(maintain_averages_op)
    print(sess.run([v1, ema.average(v1)]))

    #更新step的值為10000
    sess.run(tf.assign(step, 10000))
    #更新v1的值為10
    sess.run(tf.assign(v1, 10))
    #更新v1的滑動平均值,衰減率為minmin{0.99, (1 + step)/(10+step)) = 0.1} = 0.99
    #所以v1的滑動平均會被更新為0.99*4.5+0.01*10 = 4.555
    sess.run(maintain_averages_op)
    print(sess.run([v1, ema.average(v1)]))

    #再次更新滑動平均值
    sess.run(maintain_averages_op)
    print(sess.run([v1, ema.average(v1)]))