from_logits=True 但损失为 0

Question

我正在学习 tensorflow，并希望将 tensorflow 实现与数学联系起来。

据我所知，数学交叉熵要求其输入之和为 1。在以下代码中，y_true 是有效输入，而 y_pred 不是数学有效输入：

y_true = [[0, 1]]
y_pred = [[1.0, 20.0]]
print(tf.keras.losses.CategoricalCrossentropy(from_logits=False).call(y_true, y_pred))
print(tf.keras.losses.CategoricalCrossentropy(from_logits=True).call(y_true, y_pred))

给予：

tf.Tensor([0.04879016], shape=(1,), dtype=float32)
tf.Tensor([0.], shape=(1,), dtype=float32)

请找到要点here。

This answer 说：

如果from_logits=False，表示输入是概率

This answer 说：

from_logits=True表示crossEntropy层的输入正常 张量/logits

This answer 说：

"上面代码中raw_predictions的另一个名字是logit

from_logits，我猜，意思是输入是raw_predictions。

由于我输入的不是概率，所以我设置了from_logits=True，但我得到的结果是0。

谁能解释一下？

Answer 1

标签 [[0, 1]] 和 logits [[1, 20]] 之间的交叉熵应该是一个非常接近于 0 的值（由于浮点不精确，某些输出可能将其表示为零）。以概率表示，这些 logits 大约为 [[0.000000005, 1]]。请注意这些概率与标签的接近程度。因此交叉熵应该非常低。

正如 OP 在他们的问题中指出的那样，from_logits=True 在未缩放的输出上运行时应该使用。实际上，from_logits=True 用于在输出 before softmax 上进行操作。 Softmax 将未缩放的输出映射到概率。要计算这些概率的交叉熵，应该使用from_logits=False。

这是一个例子：

import tensorflow as tf

y_true = tf.convert_to_tensor([[0, 1]], "float32")
y_pred = tf.convert_to_tensor([[1, 20]], "float32")

ce_logits_fn = tf.keras.losses.CategoricalCrossentropy(from_logits=True)
ce_probs_fn = tf.keras.losses.CategoricalCrossentropy(from_logits=False)

print(ce_logits_fn(y_true, y_pred))
# tf.Tensor(0.0, shape=(), dtype=float32)

print(ce_probs_fn(y_true, tf.nn.softmax(y_pred)))
# tf.Tensor(1.1920929e-07, shape=(), dtype=float32)

尝试更紧密地预测。在上面的例子中，正确类的值远高于错误类的值，所以交叉熵会很低。

import tensorflow as tf

y_true = tf.convert_to_tensor([[0, 1]], "float32")
y_pred = tf.convert_to_tensor([[5, 7]], "float32")

ce_logits_fn = tf.keras.losses.CategoricalCrossentropy(from_logits=True)
ce_probs_fn = tf.keras.losses.CategoricalCrossentropy(from_logits=False)

print(ce_logits_fn(y_true, y_pred))
# tf.Tensor(0.12692805, shape=(), dtype=float32)

print(ce_probs_fn(y_true, tf.nn.softmax(y_pred)))
# tf.Tensor(0.126928, shape=(), dtype=float32)