在测试集中用中位数填充 Nan 值

Question

我正在执行数据准备，以使我的数据适合机器学习算法。目前，我正在处理/处理缺失值。在下面显示的这段代码中，我没有遇到错误，而是感到困惑。在这两个代码块中，我应用了相同的东西，但用于两个不同的数据集：train_x_e => train set 和 test_x => test set。在第一个代码块中，我正在填充 train_x_e 中的 nan 值，这完全没问题。但是，在test_x 中，我不确定是否应该使用train_x_e 或test_x 填充nan 值，如第二个代码所示。 如果有人可以向我解释这一点，我将不胜感激！

检查键的值是否 > 0，以便我们可以将其存储在 nan_columns 中

火车组

 nan_columns = []
    for keys, values in null_vals.items():
        if values > 0:
            nan_columns.append(keys)
    train_x_b = train_x_e.fillna(train_x_e.median())
    print(nan_columns)

测试集的相同程序

测试集

  nan_columns = []
    for keys, values in null_vals.items():
        if values > 0:
            nan_columns.append(keys)
    test_x_b = test_x.fillna(test_x.median())
    print(nan_columns)

Answer 1

你的做法是正确的。您应该始终将训练和测试数据分开。您正在根据传入数据测试模型，因此只能使用从中派生的信息。

在测试时使用训练数据的中位数并不像在训练中使用测试数据那么糟糕，但请注意，这两个数据集准备数据的过程是不同的。第一个使用相同数据集的中位数，第二个使用与测试数据集无关的值。

此外，当使用训练集中位数时，您必须将其与模型一起保存在某个地方。如果你有 1000 个特征怎么办？您必须保存 1000 个值。如果您想要一个迭代模型，是否也要更新这些值？

一个数据集被另一个数据集弄脏的现象称为data leakage。