为什么 TensorFlow Get started with Eager 教程中的输出总和为 1？

Question

我做了这个教程：https://www.tensorflow.org/get_started/eager

这很有帮助，但我不明白为什么输出总和为 1。它说“对于这个例子，输出预测的总和是 1.0”，但没有解释。我认为这可能是激活函数的一个特性，但我读到 ReLu 可以取任何值 >0 (https://medium.com/the-theory-of-everything/understanding-activation-functions-in-neural-networks-9491262884e0)。

我想了解，因为我想了解在哪些情况下应该对输出变量进行归一化，在哪些情况下这是不必要的（我假设如果它们总和为 1，则没有必要）。

Answer 1

在给定的示例中，句子outputs always sum to 1 指的是使用的softmax 函数，与标准化或您使用的激活函数无关。在教程的 Iris 示例中，我们想要区分三个类别，当然类别概率之和不能超过 100% (1.0)。

例如，位于网络末端的 softmax 函数可以返回 [0.8, 0.1, 0.1]。这意味着第一类的概率最高。注意：所有单个概率结果的总和为 1.0。