RandomizedSearchCV 不返回分数

Question

我已经创建了一个管道来运行我的预处理器并管理缺失值等，但是当我尝试使用 RandomizedSearchCV 时我被卡住了。 普通的 GridsearchCV 工作正常。

它是一种监督学习风格和分类学习任务，预测/分类一个二元目标 (1/0)。

这是我的模型：

# Random Forest
RF = RandomForestClassifier(n_estimators=100, criterion='gini', max_depth=None, 
                            min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0,
                            max_features='auto', max_leaf_nodes=None, random_state=1337)

这是我设置管道并尝试获得分数的地方，但这可能不起作用。

pipeline_RF = Pipeline(steps=[
        ('preprocessor', preprocessor),
        #('pca', pca),
        ('rf', RF)                          
])

print("\n------------ Randomized Search (Random Forest) ------------")

param_distributions = {
    'rf__n_estimators':  np.random.randint(1, 200, 10),
    'rf__max_depth': np.random.randint(1, 100, 10),
    'rf__min_samples_split': np.linspace(0.1, 1.0, 10, endpoint=True),      
    'rf__min_samples_leaf':  np.linspace(0.1, 0.5, 5, endpoint=True),
    'rf__criterion': ['entropy'],
    'rf__max_features': ['auto']
}

rscv = RandomizedSearchCV(pipeline_RF, param_distributions=param_distributions, cv = StratifiedKFold(n_splits=5), 
                          scoring="recall", n_iter=2, refit=True, n_jobs=-1, random_state=1337, return_train_score=True, verbose=10)

rscv.fit(X_train, y_train)
print("\nBest parameter (CV score=%0.3f):" % rscv.best_score_)
print("\Best Hyperparameters: ", rscv.best_params_)

y_pred = rscv.best_estimator_.predict(X_test)
print("\nPrecision, Recall, F1 and Support: ", precision_recall_fscore_support(y_test, y_pred, average='binary'))

错误信息如下，但对我帮助不大：

------------ Randomized Search (Random Forest) ------------
Fitting 5 folds for each of 2 candidates, totalling 10 fits

[Parallel(n_jobs=-1)]: Using backend LokyBackend with 2 concurrent workers.
[Parallel(n_jobs=-1)]: Done   1 tasks      | elapsed:    4.4s
[Parallel(n_jobs=-1)]: Done   4 tasks      | elapsed:    8.1s
[Parallel(n_jobs=-1)]: Done  10 out of  10 | elapsed:   18.4s finished


Best parameter (CV score=0.000):
\Best Hyperparameters:  {'rf__n_estimators': 135, 'rf__min_samples_split': 0.30000000000000004, 'rf__min_samples_leaf': 0.30000000000000004, 'rf__max_features': 'auto', 'rf__max_depth': 51, 'rf__criterion': 'entropy'}

Precision, Recall, F1 and Support:  (0.0, 0.0, 0.0, None)

/usr/local/lib/python3.6/dist-packages/sklearn/metrics/_classification.py:1272: UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 due to no predicted samples. Use `zero_division` parameter to control this behavior.
  _warn_prf(average, modifier, msg_start, len(result))

看起来它设置了超参数（尽管每次运行它时它们似乎都是一样的）。

有人知道如何解决这个问题吗？

Answer 1

正如desertnaut 在 cmets 中已经指出的那样，您的模型根本无法预测少数类。另一方面，您的代码没问题。您可以通过以下方式验证这一点：

根据您对 BenReiniger 的回复评论，我创建了一个虚拟数据集来重现您的情况：

from sklearn.datasets import make_classification

X, y = make_classification(n_samples=(32893+4176), n_classes=2, weights=[0.88, 0.12])
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, test_size=0.2, random_state=42)

此数据集与您的数据集具有相同的类别不平衡性和样本量。当你在这个数据集上运行你的代码时，你会得到同样的警告。现在，这是为什么呢？让我们检查y_pred 的结果作为pandas 数据框：

print(pd.DataFrame(y_pred).astype('category').describe())

# output
count   7414
unique     1
top        0
freq    7414

如您所见，模型仅预测了一类。在这种情况下，定义为tp / (tp + fp) 的正类的精度分数是未定义的，因为涉及除以零。这也是您的警告告诉您的原因：

Use `zero_division` parameter to control this behavior.

您应该能够在自己的数据集上验证这一点。此外，如果您使用另一个评分函数，如accuracy_score，您应该能够看到您的代码在没有警告或错误的情况下运行，并按预期返回分数。如果模型未预测任何正类，则某些指标只是未定义。

这应该澄清一些事情。总之，您的代码没问题。但是您的模型没有针对预测任务进行足够好的训练，您需要正确处理类不平衡。