这些函数在 TensorFlow 中是否等效？

Question

我是 TensorFlow 的新手，最近几天一直在研究它。 我想了解以下两个功能是否等效：

1.

softmax = tf.add(tf.matmul(x, weights), biases, name=scope.name)

2.

softmax = tf.nn.softmax(tf.matmul(x, weights) + biases, name=scope.name)

如果它们实际上不同，主要区别是什么？

Answer 1

softmax1 = tf.add(tf.matmul(x, weights), biases, name=scope.name)

不等于

softmax2 = tf.nn.softmax(tf.matmul(x, weights) + biases, name=scope.name)

因为softmax1 根本没有softmax 计算，而softmax2 有。请参阅 tf.nn.softmax 的 Tensorflow API。 general idea of a softmax 是它规范化输入，通过重新缩放整个数据序列确保它们的条目在区间 (0, 1) 中并且总和为 1。

两个语句之间唯一相同的是基本计算。 + 做同样的事情 tf.add 做同样的事情 tf.add(tf.matmul(x, weights), biases) 等于 到 tf.matmul(x, weights) + biases。

---

编辑：添加一些说明（我想你不知道真的知道softmax在做什么？）：

tf.matmul(x, W) + bias

计算x（你的输入向量）和W当前层权重之间的矩阵乘法。然后添加bias。

这个计算模拟了一层的激活。此外，您还有一个激活函数，例如转换激活的 sigmoid 函数。因此，对于一层，您通常会执行以下操作：

h1 = tf.sigmoid(tf.matmul(x, W) + bias)

这里h1 将激活这一层。

softmax 操作只是重新调整您的输入。例如，如果您在输出层获得了此激活：

output = [[1.0, 2.0, 3.0, 5.0, 0.5, 0.2]]

softmax 重新缩放此输入以拟合区间 (0, 1) 中的值并且总和等于 1：

tf.nn.softmax(output)
> [[ 0.01497873,  0.0407164 ,  0.11067866,  0.81781083,  0.00908506,
     0.00673038]]

tf.reduce_sum(tf.nn.softmax(output))
> 1.0