我的理解是 Softmax Regression 是 Logistic Regression 的泛化以支持多个类。
Softmax 回归模型首先计算每个类的分数，然后通过将 softmax 函数应用于分数来估计每个类的概率。
每个类都有自己专用的参数向量
我的问题：为什么我们不能使用逻辑回归以更简单的方式分类多个类，例如概率是 0 到 0.3，然后是 A 类； 0.3 到 0.6 然后是 B 类：0.6 到 0.9 然后是 C 类等等。
为什么总是需要单独的系数向量？
我是 ML 新手。不知道这个问题是不是因为缺乏对基本概念的理解。
【问题讨论】：
标签： machine-learning logistic-regression
首先，就术语而言，我想说一个更成熟的术语是multinomial logistic regression。
Softmax 函数是计算概率的自然选择，因为它corresponds to MLE。 Cross-entropy loss 也有概率解释——这就是两个分布（输出和目标）之间的“距离”。 您建议以人工方式区分类别 - 输出二进制分布并以某种方式将其与多类别分布进行比较。从理论上讲，它是可能的并且可能有效，但肯定有缺点。例如，它更难训练。
假设输出是0.2（即 A 类），而基本事实是 B 类。您想告诉网络转向更高的值。下一次，输出是0.7——网络实际上学习并朝着正确的方向移动，但你再次惩罚它。事实上，有一些不稳定点（在你的例子中是0.3 和0.6）网络需要时间来学习作为关键点。两个值 - 0.2999999 和 0.3000001 对于网络来说几乎无法区分，但它们决定了结果是否正确。
一般来说，作为概率分布的输出总是比直接判别更好，因为它提供了更多信息。
【讨论】：