【发布时间】：2018-01-09 03:48:30
【问题描述】：
有两件事我不知道如何处理它们。
- 我用 alexnet 训练了网络，它无法收敛。并且没有过拟合。然而，当我用 lenet 训练网络时，它收敛了。这是为什么呢？
- 我训练了网络来解决问题。它收敛了，但还不够。 softmax 损失不能更低（0.2）。我该如何处理呢。
【问题讨论】：
标签： neural-network deep-learning conv-neural-network
【发布时间】：2018-01-09 03:48:30
【问题描述】：
无法过拟合可能是由于网络容量不足或代码本身存在错误。你是从头开始训练模型吗？你自己写的模型？您是否正在从事与 Imagenet 分类类似规模的任务？
在任何类型的模型训练过程中都会出现损失的平稳期。但是如果没有任何学习曲线显示跨时期的损失，“0.2”的损失是没有意义的。
如果不知道您正在处理的确切任务、您使用的框架、源代码、学习曲线和/或您已采取的任何调试步骤，没有人能够真正回答您的问题。我建议你回到 cs231 lectures（特别是第 4,5 讲）或 Andrew Ng's Coursera 课程中的机器学习基础知识，以获得更基础的知识。
【讨论】：
-
1.是的，我的 alexnet 模型中有一个错误。
-
2.谢谢你的建议。