GRU 单元的 Xavier 初始化

【问题标题】：Xavier Initialization for GRU CellsGRU 单元的 Xavier 初始化
【发布时间】：2016-12-24 08:52:13
【问题描述】：

尝试初始化我的 seq2seq-model。我正在使用 GRU 单元，但无法弄清楚 Xavier-Initialization。 rnn_cell.py 中的代码似乎不允许这样做。有任何想法吗？需要手动执行此操作吗？

谢谢

【问题讨论】：

标签： initialization tensorflow recurrent-neural-network gated-recurrent-unit

【解决方案1】：

单元格的权重为created using tf.get_variable()，未指定initializer 参数。来自https://www.tensorflow.org/versions/r0.10/api_docs/python/state_ops.html#get_variable：

如果initializer 是None（默认值），则将使用变量作用域中传递的默认初始值设定项。

因此，应该可以使用以下方法：

cell = tf.nn.rnn_cell.GRUCell(256)
with tf.variable_scope('RNN', initializer=tf.contrib.layers.xavier_initializer()):
    outputs, state = tf.nn.dynamic_rnn(cell, ...)

【讨论】：