TensorFlow 滑动平均的示例代码

滑动平均会为目标变量维护一个影子变量，影子变量不影响原变量的更新维护，但是在测试或者实际预测过程中（非训练时），使用影子变量代替原变量。

1、滑动平均求解对象初始化

ema = tf.train.ExponentialMovingAverage(decay,num_updates) 

参数decay

`shadow_variable = decay * shadow_variable + (1 - decay) * variable`

参数num_updates

`min(decay, (1 + num_updates) / (10 + num_updates))`

2、添加/更新变量

添加目标变量，为之维护影子变量

注意维护不是自动的，需要每轮训练中运行此句，所以一般都会使用tf.control_dependencies使之和train_op绑定，以至于每次train_op都会更新影子变量

ema.apply([var0, var1]) 

3、获取影子变量值

这一步不需要定义图中，从影子变量集合中提取目标值

sess.run(ema.average([var0, var1])) 

4、保存&载入影子变量

我们知道，在TensorFlow中，变量的滑动平均值都是由影子变量所维护的，如果你想要获取变量的滑动平均值需要获取的是影子变量而不是变量本身。

保存影子变量

建立tf.train.ExponentialMovingAverage对象后，Saver正常保存就会存入影子变量，命名规则是"v/ExponentialMovingAverage"对应变量”v“

import tensorflow as tf if __name__ == "__main__":   v = tf.Variable(0.,name="v")   #设置滑动平均模型的系数   ema = tf.train.ExponentialMovingAverage(0.99)   #设置变量v使用滑动平均模型，tf.all_variables()设置所有变量   op = ema.apply([v])   #获取变量v的名字   print(v.name)   #v:0   #创建一个保存模型的对象   save = tf.train.Saver()   sess = tf.Session()   #初始化所有变量   init = tf.initialize_all_variables()   sess.run(init)   #给变量v重新赋值   sess.run(tf.assign(v,10))   #应用平均滑动设置   sess.run(op)   #保存模型文件   save.save(sess,"./model.ckpt")   #输出变量v之前的值和使用滑动平均模型之后的值   print(sess.run([v,ema.average(v)]))   #[10.0, 0.099999905]  

载入影子变量并映射到变量

利用了Saver载入模型的变量名映射功能，实际上对所有的变量都可以如此操作『TensorFlow』模型载入方法汇总

v = tf.Variable(1.,name="v") #定义模型对象 saver = tf.train.Saver({"v/ExponentialMovingAverage":v}) sess = tf.Session() saver.restore(sess,"./model.ckpt") print(sess.run(v)) #0.0999999  

这里特别需要注意的一个地方就是，在使用tf.train.Saver函数中，所传递的模型参数是{"v/ExponentialMovingAverage":v}而不是{"v":v}，如果你使用的是后面的参数，那么你得到的结果将是10而不是0.09，那是因为后者获取的是变量本身而不是影子变量。