【发布时间】：2015-07-09 17:01:26
【问题描述】：
我正在与一位同事进行一场史诗般的辩论，他声称减少隐藏的数量是处理过度训练的最佳方法。
虽然可以证明泛化误差会随着这种网络的训练而降低，但最终它不会达到更多隐藏和提前停止所能达到的水平。
我相信我们的项目有许多类型的病态“条件”，非平稳性只是其中之一。我相信需要大量的隐藏来处理这些可以被比作输入类的问题。
虽然这对我来说似乎很直观，但我无法做出令人信服的论点。
【问题讨论】：
-
"hiddens" = 隐藏单元还是隐藏层？无论哪种方式，他都错了，因为这绝对不是“处理过度训练的最佳方法”——有比调整架构更好的方法。事实上，他应该为他的主张提供参考。我不认为你有举证责任。
-
神经网络是一个黑盒子。你们在任何有意义的时间内争论它而不是仅仅通过交叉验证来测试它是错误的。
-
我正在运行 Ward Systems NeuroShell 2，它没有像正则化这样的修饰。此外，我的同事拒绝了交叉验证，因为他声称经过大量培训后有更好的解决方案，并且 CV 停止解决方案基本上是一个幼稚的解决方案。所以没有办法反驳这一点。所以我又开始尝试对我最初的问题进行直观的了解 - 给我画张照片......
-
（在这个网站上遇到这种格式的问题 - 不能回答具体的帖子，也不能创建段落，所以如何讨论需要长而详细的回复的技术问题？这不是发短信！）“.. .更好的方法来处理过度训练......”关于减少隐藏 - 我对那个“全神贯注” - 我记得读过的关于这个主题的所有内容都没有暗示减少隐藏作为一种方法的劣势。我相信减少隐藏存在问题，例如非平稳性，但无法为我的这种想法找到明确的论据。我缺乏数学（我不是主教）——我是一名工程师。
-
关于交叉验证：我发现我可以通过验证集大小任意“设置”训练量。如果 VS 很小，训练会持续很长时间。如果 VS 很大，训练会在短时间内停止。所以选择 VS 是基于泛化的好坏，基本上就是训练时间。那么为什么不忘记 VS 并简单地找到一个泛化最佳的训练时间呢？同样，我正在处理非固定输入。
标签： machine-learning neural-network backpropagation