添加正则化会使性能变慢和变差

Question

当我添加更强的正则化（例如，L2 正则化参数从 1 到 10，或 dropout 参数从 0.75 到 0.5）时，它给了我更慢和更差的性能（例如，在 3000-4000 次迭代中 97-98% 的测试准确度只有 94 -95% 的测试准确度在 3000-4000 次迭代中）。发生这种情况可能有原因吗？我可以确认一切都正确实施。谢谢！

编辑：我只想指出我的程序有过拟合（大约 1%），而且似乎有和没有 dropout，训练和测试准确率之间的差异也差不多。

Answer 1

欠拟合可能是准确率急剧下降的原因。对小于 1 的 l2 正则化使用较小的值。检查 [0.01,0.03,0.1,0.3,0.9] 并查看。