我可以使用模型的 sklearn predict_proba（例如 LogisticRegression）作为另一个模型的特征（例如 RandomForestClassifier）吗？答案

【问题标题】：May i use the sklearn predict_proba of a model (LogisticRegression for example) as a feature of another model (RandomForestClassifier for example)?我可以使用模型的 sklearn predict_proba（例如 LogisticRegression）作为另一个模型的特征（例如 RandomForestClassifier）吗？
【发布时间】：2021-09-14 01:58:00
【问题描述】：

我正在尝试改进我的分类模型，在 LogisticRegression 中使用 statsmodel 我注意到一些没有通过 t 测试并且在我使用此模型时没有太大影响的特征在我更改模型时非常重要，例如，我查看了 RandomForestClassifier 的 feature_importances，而更重要的特征并没有影响 LogisticRegression。

考虑到这一点，我想使用不带此功能的 LogisticRegression 并使用 predict_proba 来选择概率，然后我使用 RandomForest 创建另一个模型，但现在使用所有功能并包括logisticRegressor概率。或者我可以选择许多模型的所有概率并将它们用作另一个模型的特征。这有什么意义吗？我不知道我这样做是否插入了任何偏见以及为什么。

【问题讨论】：

您可以将先验分类器视为特征提取器或变换器，非常方便！
为什么不提供一些最低限度的数据和代码？
请提供足够的代码，以便其他人更好地理解或重现问题。

标签： python machine-learning scikit-learn prediction method-combination

【解决方案1】：

我发现我正在做的是堆叠，但我没有使用另一个模型的响应作为特征，而是使用为 1 的概率 (predict_proba)。

【讨论】：