TensorFlow 中的批量标准化初始化器

Question

在 TensorFlow 中，批量标准化参数包括 beta、gamma、moving mean 和 moving variance。然而，为了初始化这些参数，tf.contrib.layers.batch_norm(*args, **kwargs) 中只有一个参数称为param_initializers，根据文档，它包含beta、gamma、moving mean 和moving variance 的可选初始化程序。

我们如何使用param_initializers来初始化这些参数？

Answer 1

以下是在 Tensorflow 1.0 中使用 batch normalization 的方法：

import tensorflow as tf
batch_normalization = tf.layers.batch_normalization

... (define the network)
net = batch_normalization(net)
... (define the network)

如果你想设置参数，就这样：

net = batch_normalization(net, 
                          beta_initializer=tf.zeros_initializer(), 
                          moving_variance_initializer=tf.ones_initializer())

*args, **kwargs

这是传递任意多个非关键字参数args 和任意多个关键字参数kwargs 的python 方式。例如：

def test(*args, **kwargs):
    print("#" * 80)
    print(args)
    print("#" * 80)
    print(kwargs)

test(1, 2, 42, 3.141, 'foo', a=7, b=3, c='bla')

给予

################################################################################
(1, 2, 42, 3.141, 'foo')
################################################################################
{'a': 7, 'c': 'bla', 'b': 3}