NAN 损失张量流答案

【问题标题】：NAN loss tensorflowNAN 损失张量流
【发布时间】：2018-12-07 06:28:45
【问题描述】：

我正在训练一个边界框回归问题，并使用YOLO paper 中描述的损失函数的坐标分量。

方法 1：使用 HOG 特征向量作为 ANN 的输入。相同的损失函数。给我一个好模型。

方法 2：使用图像作为 CNN 的输入。最后一层与方法 1 相同。损失函数也相同。但是我面临着计算损失的问题。从第一个纪元本身开始，它就打印出用于训练、开发和测试的 nan 损失。

当相同的损失函数与 ANN 完美配合时，我该如何让 CNN 工作？发生这种情况的原因是什么？我希望能够使用相同的损失函数。

【问题讨论】：

【解决方案1】：

假设损失函数实现得很好，根据我的经验，损失问题通常与输入数据错误（即由于某些数据增强操作或其他一些错误导致您的数据看起来很糟糕）或您的学习率有关太高了。尝试降低学习率；如果这不起作用，请进行良好的调试，并确保数据在输入神经网络之前“完全”符合您的预期。

【讨论】：

这些我都试过了。我的学习率为 10e-4。数据是正确的，以及相应的标签。损失函数使用平方根运算，最后一层激活是sigmoid。这并没有影响 ANN 的训练，但似乎对 CNN 的训练产生了巨大的影响