在机器学习和深度学习项目中进行分析之前，我应该重新组合训练集和测试集吗？

Question

我通过在机器学习和深度学习领域制作项目来训练自己。为此，我注册了 Kaggle 比赛，例如 Titanic Dataset。

当我们加载数据时，有两个数据集：train 和 test。现在我只对训练集进行分析，每次创建新特征或进行一些更改时，我都会通过执行相同的操作对两个数据集进行循环。

现在，我要估算缺失值，并执行一些预处理操作，因此，我将对数据使用一些聚合，对分类特征进行编码等。但我想知道我是否应该同时使用训练和测试集来计算平均值或标记特征或只是训练集。

因为据我所知，测试集应该衡量一个模型在它从未见过的数据上的表现，所以我认为直到现在我应该只使用训练集来做出决定。

但有时它可能是“错误的”，例如如何处理测试集可能具有训练集没有的新类别的事实？

问题

1. 在深度学习或机器学习项目中填充缺失值并执行预处理操作时，最好同时使用训练集和测试集还是只使用训练集？

2. 即使在 Kaggle 比赛中会更好，那么生产项目呢？或许我们应该考虑一下新数据有可能包含看不见的类别的情况？

Answer 1

训练集应该用于构建您的机器学习模型。对于训练集，我们为每位乘客提供结果（也称为“ground truth”）。您的模型将基于乘客的性别和等级等“特征”。您还可以使用特征工程来创建新特征。

应该使用测试集来查看您的模型在看不见的数据上的表现。对于测试集，我们不提供每位乘客的真实情况。预测这些结果是你的工作。对于测试集中的每位乘客，使用您训练的模型来预测他们是否在泰坦尼克号沉没中幸存下来。

所以题目的线索是：如果测试集在数据之前是已知的，那就意味着你在预测的时候就会有结果。你不要改变它，因为那样你只会比较结果，而不是预测它。

Answer 2

1) 在训练模型时，您从不接触测试数据。测试集仅用于检查预测的准确性。

2) 一般来说，我们希望训练数据具有所有可能的结果（因此需要更大的数据源，而 Kaggle 确实提供了相当大的数据集，因此您不必担心），就生产而言担心和在这种情况下看不见的情况，你倾向于改进你的模型，以便它可以处理这些新的情况。这可能需要重新训练它。