使用 XGBoost 的管道 - Imputer 和 Scaler 阻止模型学习

Question

我正在尝试为我的 XGBoost 模型构建数据预处理管道。数据包含 NaN，需要缩放。这是相关代码：

xgb_pipe = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='mean')),
    ('scaler', preprocessing.StandardScaler()),
    ('regressor', xgboost.XGBRegressor(n_estimators=100, eta=0.1, objective = "reg:squarederror"))])

xgb_pipe.fit(train_x.values, train_y.values, 
            regressor__early_stopping_rounds=20, 
            regressor__eval_metric = "rmse", 
            regressor__eval_set = [[train_x.values, train_y.values],[test_x.values, test_y.values]])

损失立即增加，训练在 20 次迭代后停止。

如果我从管道中删除输入器和缩放器，它会工作并训练完整的 100 次迭代。如果我手动预处理数据，它也会按预期工作，所以我知道问题不在于数据。 我错过了什么？

Answer 1

问题是预处理没有应用于您的评估集，因此模型在它们上的表现非常糟糕，并且提前停止很早就开始了。

不幸的是，我不确定是否有一种简单的方法可以将所有内容都保存在一个管道中。您需要将管道的预处理步骤应用于评估集，因此需要在设置该参数之前安装这些步骤。

单独预处理

作为两个对象没问题：

preproc = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='mean')),
    ('scaler', preprocessing.StandardScaler()),
])

reg = xgboost.XGBRegressor(n_estimators=100, eta=0.1, objective="reg:squarederror")

train_x_preproc = preproc.fit_transform(train_x.values, train_y.values)
test_x_preproc = preproc.transform(test_x)

reg.fit(train_x.values, train_y.values, 
    regressor__early_stopping_rounds=20, 
    regressor__eval_metric = "rmse", 
    regressor__eval_set = [[train_x_preproc, train_y.values], [test_x_preproc, test_y.values]],
)

拟合后，如果您愿意，您可以将这些现在拟合的估计器一起放入管道（管道不会克隆它们的估计器）进行预测。

自定义估算器

有很多方法可以解决这个问题，但是从Pipeline 继承意味着您可以按照与当前设置相同的方式进行初始化，我们只是假设最后一步是 xgboost 模型，其余的是预处理，需要适用于评估集以及拟合和预测集。我认为其他一切都可以留给Pipeline的继承方法？

class PreprocEarlyStoppingXGB(Pipeline):
    def fit(self, X, y, eval_set):
        preproc = self.steps[:-1]
        X_preproc = preproc.fit_transform(X, y)
        eval_preproc = []
        for eval in eval_set:
            eval_preproc.append([preproc.transform(eval[0]), eval[1]])
        self.steps[-1].fit(X_preproc, y, eval_set=eval_preproc)
        return self

对于来自 cmets 的用例，当您使用此对象进行交叉验证时会发生什么？在每个训练折叠上，都安装了预处理步骤。然后将它们应用于训练折叠和所有评估集（整个训练集以及外部测试集），最后在对测试折叠进行评分时。 xgboost 模型在预处理后的训练集上进行训练，并观察整个训练集和外部测试集（均已预处理）的得分，后者用于提前停止。