神经网络 - 如何测试它是否正确实施？

Question

我已经使用 Tensorflow 实现了神经网络。在实施和培训期间，我发现了几个不那么微不足道的错误。 示例：在训练期间，我在不同的步骤/时期有相同的 Mini-Batch 损失，但准确度不同。

现在神经网络似乎已经准备好并且可以正常工作了。我还没有很好地训练它，但我正在努力。

无论如何，我想以某种方式检查我没有在那里做任何计算错误。我正在考虑为“假”分类问题生成一些人工数据，比如 4 个特征。分类应该在分类输出和 4 个特征之间具有非常清晰的人类可理解的依赖关系。我们的想法是尝试在其上训练 NN 并查看其性能。

你怎么看？

Answer 1

Stanford 的 c231n 对此提供了一些通用提示，例如梯度检查。

如果您只是学习神经网络，为什么不尝试在一些已知数据上运行您的实现呢？许多课程提供具有指定超参数的模型的误差和损失曲线，因此您可以检查您的实现行为是否与正确实现有显着差异。