Caffe sigmoid 交叉熵损失

【问题标题】：Caffe sigmoid cross entropy lossCaffe sigmoid 交叉熵损失
【发布时间】：2016-08-01 00:04:36
【问题描述】：

我正在使用 sigmoid 交叉熵损失函数来解决this tutorial 提出的多标签分类问题。然而，在他们的教程结果和我的结果中，输出预测都在(-Inf, Inf) 的范围内，而 sigmoid 的范围是[0, 1]。 sigmoid 是否只在 backprop 中处理？也就是说，前向传递不应该压缩输出吗？

【问题讨论】：

标签： machine-learning neural-network deep-learning caffe

【解决方案1】：

在本例中，"SigmoidCrossEntropyLoss" 层的输入是全连接层的输出。实际上，"InnerProduct" 层的输出值没有限制，它们可以在[-inf, inf] 范围内。
但是，如果您仔细检查 "SigmoidCrossEntropyLoss"，您会注意到它包含一个 "Sigmoid" layer inside -- 以确保稳定的梯度估计。
因此，在测试时，您应该将"SigmoidCrossEntropyLoss" 替换为简单的"Sigmoid" 层以输出每类预测。

【讨论】：

谢谢@Shai。你对这些 Caffe 答案很感兴趣