对张量流中的张量列表求和答案

【问题标题】：sum over a list of tensors in tensorflow对张量流中的张量列表求和
【发布时间】：2016-04-03 20:15:06
【问题描述】：

我有一个深度神经网络，其中层之间的权重存储在一个列表中。

layers[j].weights 我想在我的成本函数中包含岭惩罚。然后我需要使用类似的东西 tf.nn.l2_loss(layers[j].weights**2 for j in range(self.n_layers)) 即所有权重的平方和。

特别是权重定义为：

>>> avs.layers
[<neural_network.Layer object at 0x10a4b2a90>, <neural_network.Layer object at 0x10ac85080>, <neural_network.Layer object at 0x10b0f3278>, <neural_network.Layer object at 0x10b0eacf8>, <neural_network.Layer object at 0x10b145588>, <neural_network.Layer object at 0x10b165048>, <neural_network.Layer object at 0x10b155ba8>]
>>>
>>> avs.layers[0].weights
<tensorflow.python.ops.variables.Variable object at 0x10b026748>
>>>

我如何在 tensorflow 中做到这一点？

【问题讨论】：

我认为您需要从这些权重中创建一个新张量并将其用于成本方程。

标签： python tensorflow cost-based-optimizer

【解决方案1】：

对张量列表求和的标准方法是使用tf.add_n() 操作，该操作采用张量列表（每个张量具有相同的大小和形状）并生成包含总和的单个张量。

对于您遇到的特定问题，我假设每个 layers[j].weights 可能有不同的大小。因此，您需要在求和之前将每个元素减少到一个标量，例如使用tf.nn.l2_loss() 函数本身：

weights = [layers[j].weights for j in range(self.n_layers)]
losses = [tf.nn.l2_loss(w) for w in weights]
total_loss = tf.add_n(losses)

（但是请注意，当要添加的值很大时，您可能会发现计算 tf.add() 操作序列更有效，因为 TensorFlow 将每个 add_n 参数的值保留在内存中，直到所有都已计算完毕。add 操作链允许一些计算提前发生。）

【讨论】：

使用标准的 Python 内置 sum() 相当于 tf.add 操作的序列。

【解决方案2】：

tf.nn.l2_loss() 函数返回一个 0 维的张量。

但很高兴不需要手动将其应用于每个权重张量，因此将权重张量存储在列表中是解决问题的一种方法（如 @mrry 所述）。

但不是每次都需要写出来，你可以做的是使用以下函数

def l2_loss_sum(list_o_tensors):
    return tf.add_n([tf.nn.l2_loss(t) for t in list_o_tensors])

在你的情况下，这看起来像：

total_loss = l2_loss_sum([layers[j].weights for j in range(self.n_layers)])

另外，tf.nn.l2_loss() 隐式地将平方运算应用于值以及将所有平方值乘以 1/2 ，所以如果您使用类似 tf.nn.l2_loss(layers[j].weights**2 for j in range(self.n_layers)) 的东西，您实际上会将权重提高到 4 次方。因此，您对这个损失项的导数会很奇怪：它不会将 1/2 取消为 1（但会隐含地使您的 β 加倍）并且权重会被立方。

【讨论】：