Caffe 中的交叉熵实现

Question

查看sigmoid_cross_entropy_loss_layer.cpp中的源码，这是caffe中交叉熵损失函数的源码，发现实际误差值的代码是

  for (int i = 0; i < count; ++i) {
    loss -= input_data[i] * (target[i] - (input_data[i] >= 0)) -
        log(1 + exp(input_data[i] - 2 * input_data[i] * (input_data[i] >= 0)));
  }

这似乎与我在这里找到的 Caffe 或 C++ 实现文档中的 CE 损失函数有很大不同：

https://visualstudiomagazine.com/Articles/2014/04/01/Neural-Network-Cross-Entropy-Error.aspx?Page=2

或者实际上是CE损失函数的定义。

这是某种近似吗？我首先认为它是 log⁡(1−x) 的泰勒级数展开，但它根本不像那样工作。

Answer 1

这一层实现的损失不是只是交叉熵。该层实现了 Sigmoid 激活，然后是交叉熵损失。这允许在数值上更稳定地实现损失。

请参阅this thread 了解更多信息。 还有this thread。