随机森林分类器严重过拟合

Question

我有 4 个变量作为随机森林的输入。即。 ['superType1'，'superType2'，'superType3'，'superTypeProbability']。其中前 3 列是 Wikidata 项目 ID，最后一列是概率列。我正在使用 GridSearchCV 进行最佳参数选择。然而，尽管使用了所有可能的选项，但这个模型严重过度拟合。特征“superTypeProbability”在这里过拟合。但是，我想使用此功能，因为在我的情况下，这是唯一可以提高 RF 性能的参数。

roc_auc_score_train:0.994399847095
roc_auc_score_validation:0.402392359246

仅将“superTypeProbability”特征与逻辑回归结合使用，ROC 如下：

roc_auc_score for only superTypeProbability feature:0.762852724493
roc_auc_score for only superTypeProbability feature:0.691760825723

仅使用前 3 个特征，RF 给出的 ROC 为：

roc_auc_score_train:0.974928760078
roc_auc_score_validation:0.790185294454

我的射频代码如下：

def train_model(self):
        logger.info("Using random forest classifier......")
        train = self.feature_preprocessing(self.train)
        X_train = pd.DataFrame(data=train, columns=['superType1', 'superType2', 'superType3'])
        logger.info("Using features: %s", X_train.columns)
        y_train = train['ROLLBACK_REVERTED']

        rfc = RandomForestClassifier(n_jobs=-1, max_features=None, n_estimators=1000, oob_score=True,
                                     random_state=50, min_samples_leaf=1, max_depth=9)

        param_grid = {
            'n_estimators': [500, 600, 700, 800],
            'max_depth': [8, 9, 10, 11],
            'min_samples_leaf': [1],
        }

        search = sklearn.grid_search.GridSearchCV(rfc, param_grid, n_jobs=-1, verbose=0, scoring='roc_auc', cv=3)
        search.fit(X_train, y_train)

        logger.info("All Scores: %s", search.grid_scores_)
        logger.info("Best Score: %s", search.best_score_)
        logger.info("Best Params: %s", search.best_params_)

        predictedProbVal = search.predict_proba(X_train)
        roc_auc_score_train = metrics.roc_auc_score(y_train, predictedProbVal[:, 1])
        logger.info("roc_auc_score_train:%s", roc_auc_score_train)

        validationProb = self.predict_probabilities(search)
        return validationProb

    def predict_probabilities(self, rfModel):
        validation = self.feature_preprocessing(self.validation)
        X_val = pd.DataFrame(data=validation, columns=['superType1', 'superType2', 'superType3', 'superTypeProbability'])
        y_val = validation['ROLLBACK_REVERTED']

        # Predict the result for test data
        predictedProbVal = rfModel.predict_proba(X_val)
        validation['vandalismScore'] = pd.DataFrame(predictedProbVal[:, 1])
        roc_auc_score_val = metrics.roc_auc_score(y_val, predictedProbVal[:, 1])
        logger.info("roc_auc_score_validation:%s", roc_auc_score_val)
        return validation

Answer 1

问题出在superTypeProbability。我通过对superTypeProbability 功能进行一些更改来解决它。现在 ROC=0.82。在计算 superTypeProbability 之前，我正在计算 typeProbability 特征。将typeProbability 与随机森林一起使用时，ROC 为=0.74。我想改进这个结果。此功能有几个 NaN 值，例如 500 是 NaN，共 1000 个。为了减少这个数字，我派生了新功能 superTypeProbability。如果typeProbability 和superTypeProbability 都存在，则将更高的值分配给superTypeProbability。有了这个，superTypeProbability 的 NaN 值少于 1000 个中的 300 个。现在，为了填充这个 NaN 值，我替换了 average superTypeProbability 值，它 smaller 比平均 typeProbability 值。这导致了这个问题。所以我现在正在使用 平均类型概率来填充NaN

features['superTypeProbability'] = features['superTypeProbability'].fillna(features['typeProbability'][features.typeProbability!='None'].mean())