验证准确性/损失是否会影响 caffe 中的训练

Question

对 caffe 中的验证集有一个简单的问题，想知道验证集是否对训练有影响？我知道您使用验证集来检查网络是否没有过度拟合，据我所知，验证集对权重更新没有影响，但它是否对选择或修改超参数有某种影响，还是仅适用于用户查看和估计网络的学习情况？

Answer 1

不，神经网络在训练期间不会使用验证集的结果来调整任何超参数。在训练期间使用验证集与在某个时间点应用网络来预测验证集的值，然后对它的表现进行评分是相同的。

您可能决定要多次运行相同的网络训练过程，而不是使用不同的超参数值。在其完全详尽的形式中，这意味着您将在超参数空间上进行网格搜索，并使用不同网络的许多不同训练会话。在实践中，使用神经网络进行完全详尽的网格搜索并不是一个好主意，因为参数的数量可能非常大。

通常使用神经网络，您可以一次调整一个参数，直到它们看起来都“大致正确”。当然，这可能不会为您带来绝对最佳的结果，但这并不是一个糟糕的第一种方法。