如何查看随机森林中使用的特征？

Question

目前，我正在研究随机森林进行分类。我在显示模型中使用的功能时遇到问题。

这是我的一些代码

model=RandomForestClassifier(n_estimators=estimator, max_depth=depth, max_features=feature)# a simple random forest model
model.fit(train_X,train_y)# now fit our model for training data
prediction=model.predict(test_X)

我使用超参数作为模型参数，尤其是 max_features。输入可以是 3、5 和无（使用所有功能）。

这是我的特点：

A1_feat A2_feat A3_feat A4_feat A5_feat A6_feat A7_feat A8_feat B_feat C_feat

类或标签的状态

例如，我使用了 5 个功能。那么我想知道正在使用哪些功能？

输出应该是A1_feat, A3_feat, A5_feat, B_feat, and C_feat

Answer 1

您可以使用分类器的feature_importances_ 属性。

例如：

from pandas import DataFrame

feature_importances = DataFrame(model.feature_importances_,
                                index = train_X.columns,
                                columns=['importance'])
                                .sort_values('importance', 
                                             ascending=False)

print(feature_importances)

在我的例子中，输出是：

Feature Importance

       importance
sc       0.158446
al       0.143696
pcv      0.142879
rbcc     0.137623
sg       0.085623
.
.

另外，您可以绘制：

from matplotlib.pyplot import figure
from matplotlib.pyplot import title


figure(figsize=(12,3))
features = test_X.columns.values.tolist()
importance = model.feature_importances_.tolist()
feature_series = Series(data=importance, index=features)
feature_series.plot.bar()
title('Feature Importance')

在我的例子中，图表是：