conv net save weight 和新的测试集

Question

我正在使用卷积网络进行图像分类。

理论上有些东西我不明白

对于训练，我将数据拆分为 60% 训练/20% 验证/20% 测试

当验证集的指标最好时，我会节省权重（我在训练集和验证集上的表现相同）。

现在，我进行新的拆分。来自训练集的一些数据将在测试集上。我加载权重并对新的测试集进行分类。

由于已经在新测试集的一部分上计算了权重，我们是否同意说这是一个糟糕的程序，我应该用我的新训练/验证集重新训练我的模型？

Answer 1

拥有测试集的全部目的是模型必须在最后一刻才能看到它。
因此，如果您的模型在测试集中的某些数据上进行了训练，它就会变得毫无用处，并且它给您的结果将毫无意义。

所以基本上：

• 1.在你的火车上训练
• 2.验证您的验证集
• 3.重复 1 和 2，直到您对结果满意为止
• 4.最后，在测试集上测试你的模型

Answer 2

是的，为了公平评估，在训练期间不应看到测试集中的样本