过采样和欠采样以及平衡数据

Question

我正在研究一个包含不平衡数据的预测模型，即我的目标变量的分布为 10%=1 和 90%=0。

为了提高预测性能，通常建议进行平衡（过采样或欠采样）。

我想知道是否需要平衡整个数据集或只平衡训练集。如果重新平衡整个数据集，如果我使用过采样，我就是在重复观察，这意味着来自训练集的观察将重新出现在测试集中，从而人为地提高预测性能，对吧？

对于欠采样，我认为这无关紧要。

有什么想法吗？

Answer 1

您应该平衡您的训练数据集，但不需要平衡测试或验证集。如果您的系统训练有素，那么它将在测试/验证时间内正确处理不平衡的数据集。如果没有，那么它就没有受过良好的训练。此外，您想要评估真实世界的性能，为此您需要对真实世界的数据进行测试。

如果您决定过采样，请确保添加一点随机噪声以减少重复的影响。