sklearn 的 XGBoost 的“random_state”相当于什么？答案

【问题标题】：What is the equivalent of sklearn's `random_state` for XGBoost?sklearn 的 XGBoost 的“random_state”相当于什么？
【发布时间】：2020-09-04 22:21:39
【问题描述】：

我似乎无法让 XGBoost 连续两次给我相同的结果。在 sklearn 中，我似乎能够使用 random_state 但这在 XGBoost 中不起作用。

我也尝试过设置seed、subsample、colsample_bytree（将subsample和colsample_bytree设置为1似乎没有什么区别）。

关于如何重现结果的任何建议，有点像在 sklearn 中设置 random_state 值？

这是一些彻底的代码，但我认为您可能想在我的问题底部专门查看模型。

预处理

from sklearn.impute import SimpleImputer
from sklearn.preprocessing import LabelEncoder

#numerical columns
numerical_columns_list = [colname for colname in X_train.columns if
                    X_train[colname].dtypes in ['int64', 'float64']]

X_train_trf = X_train.copy()
X_valid_trf = X_valid.copy()

# Preprocessing for numerical data
num_imputer = SimpleImputer(strategy='median')
X_train_trf[numerical_columns_list] = num_imputer.fit_transform(X_train_trf[numerical_columns_list])
X_valid_trf[numerical_columns_list] = num_imputer.transform(X_valid_trf[numerical_columns_list])

# Preprocessing for categorical data

categorical_columns_list = [colname for colname in X_train.columns if
                    X_train[colname].dtypes == 'object' ]

cat_imputer = SimpleImputer(strategy='most_frequent')
X_train_trf[categorical_columns_list] = cat_imputer.fit_transform(X_train_trf[categorical_columns_list])
X_valid_trf[categorical_columns_list] = cat_imputer.transform(X_valid_trf[categorical_columns_list])

le = LabelEncoder()
for col in X_train_trf[categorical_columns_list].columns:
    X_train_trf[col] = le.fit_transform(X_train_trf[col])
    X_valid_trf[col] = le.fit_transform(X_valid_trf[col])

型号

from xgboost import XGBRegressor
from sklearn.metrics import mean_absolute_error
model = XGBRegressor(n_estimators=1000, learning_rate=0.05,
                     subsample=0.8, colsample_bytree= 0.8, seed=42)

model.fit(X_train_trf,y_train,
        early_stopping_rounds=5,
        eval_set=[(X_train_trf, y_train), (X_valid_trf, y_valid)],
        verbose=False)
preds = model.predict(X_valid_trf)

【问题讨论】：

你的数据拆分有随机性吗？
好问题。我不确定检查
这是笔记本的链接供参考kaggle.com/calvinbroadus/xgboost-model
啊，你说的对。作为参考，将random_state 设置为 train_test_split 解决了该问题。谢谢！

标签： python-3.x machine-learning scikit-learn xgboost kaggle

【解决方案1】：

作为参考，问题不在于 XGBoost，而在于数据拆分。感谢 Venkatachalam 指出！

我在没有设置random_state 的情况下使用train_test_split 拆分数据！

固定如下：

X_train_full, X_valid_full, y_train, y_valid = train_test_split(X_full, y,
  train_size=0.8, test_size = 0.2, random_state=1)

【讨论】：