optuna lightgbm 集成无休止地运行答案

【问题标题】：optuna lightgbm integration runs endlesslyoptuna lightgbm 集成无休止地运行
【发布时间】：2022-10-25 00:49:36
【问题描述】：

我正在使用optuna.integration.lightgbm.train 并将this 示例与我的数据一起使用，该数据在训练集中有大约1M 行，在验证集中有700K。

但是我已经等待了 20 多个小时，并且该过程在一段时间后没有完成，我注意到它已经开始过度拟合，因为验证指标 (ROC AUC) 非常接近.999

示例代码：

params = {
    "objective": "binary",
    "metric": "auc",
    "verbosity":1,
    "boosting_type": "gbdt",
}

model = lgb.train(
    params,
    dtrain,
    valid_sets=[dtrain, dval],
    callbacks=[early_stopping(3), log_evaluation(3)],
    show_progress_bar = True,
    time_budget = 1,
    early_stopping_rounds = 2
)

我怎样才能加快这个速度和/或设置它应该运行的轮数？

【问题讨论】：

标签： python machine-learning lightgbm optuna

【解决方案1】：

我也有问题。一些建议：1）在回调中添加一个修剪器，例如：

pruning_callback = optuna.integration.LightGBMPruningCallback( trial, metric = "binary_logloss", valid_name = "valid_0" )
lgb.train( 
, callbacks = [ pruning_callback, early_stopping(100), log_evaluation(100 )]
)

不要使用 lgb.train() 而是使用

model = LGBMClassifier( objective="binary", **param_grid, n_jobs = -1 )
model.fit()

此外，我无法让 early_stopping(min_delta = 0.01) 工作。（参数无法识别）但这会有所帮助（如果我让它工作）

【讨论】：