获取转换后用于分类的最重要特征的名称答案

【问题标题】：Get names of most important features for classification after transformation获取转换后用于分类的最重要特征的名称
【发布时间】：2021-08-25 18:46:18
【问题描述】：

我在 Python 中有一个分类问题。我想找出分类中最重要的特征是什么。我的数据是混合的，有些列是分类值，有些不是分类值。我正在使用OneHotEncoder 和Normalizer 应用转换：

columns_for_vectorization = ['A', 'B', 'C', 'D', 'E']
columns_for_normalization = ['F', 'G', 'H']

transformerVectoriser = ColumnTransformer(transformers=[('Vector Cat', OneHotEncoder(handle_unknown = "ignore"), columns_for_vectorization),
                                                        ('Normalizer', Normalizer(), columns_for_normalization)],
                                          remainder='passthrough') # Default is to drop untransformed columns

之后，我将拆分数据并进行转换：

x_train, x_test, y_train, y_test = train_test_split(features, results, test_size = 0.25, random_state=0)

x_train = transformerVectoriser.fit_transform(x_train)
x_test = transformerVectoriser.transform(x_test)

然后，我训练我的模型：

clf = RandomForestClassifier(max_depth = 5, n_estimators = 50, random_state = 0)
model = clf.fit(x_train, y_train)

我正在打印最好的功能：

print(model.feature_importances_)

我得到这样的结果：

[1.40910562e-03 1.46133832e-03 4.05058130e-03 3.92205197e-03
 2.13243521e-03 5.78555893e-03 1.51927254e-03 1.14987114e-03
 ...
 6.37840204e-04 7.21061812e-04 5.77726129e-04 5.32382587e-04]

问题是，一开始我有 8 个特征，但由于转换，我有 20 多个特征（因为分类数据）我该如何处理？我怎么知道最重要的开始特征是什么？

【问题讨论】：

你试过这个答案吗？ stackoverflow.com/questions/54646709/…
如果我在管道中有转换器和分类器，该答案显示了如何访问它。我该怎么做？

标签： python machine-learning scikit-learn

【解决方案1】：

尝试以下方法来获取“矢量猫”转换器处理的特征的名称：

VectorCatNames = list(transformerVectoriser.transformers_[0][1]['Vector Cat'].get_feature_names(columns_for_vectorization))

然后，您的最终功能的名称可以保存为：

feature_names = VectorCatNames + columns_for_normalization

【讨论】：

我收到此错误：OneHotEncoder' 对象不可下标

【解决方案2】：

这个github gist 似乎是说你可以通过以下方式获得拟合/转换后的列：

numeric_features = X.select_dtypes(np.number).columns

enc_cat_features = transformerVectorizer.named_transformers_['Vector cat'].get_feature_names()
labels = np.concatenate([numeric_features, enc_cat_features])
transformed_df_X = pd.DataFrame(preprocessor.transform(X_train).toarray(), columns=labels)
# To access your data - transformed_df_X
# To access your columns - transformed_df_X.columns

如果由于“可下标”错误，您似乎无法使其通过 ColumnTransformer 工作，您可以绝对直接在 OneHotEncoder 对象上执行此操作。

通常我之后也会弄乱这些名称，因为 OneHotEncoder 会给出丑陋的自动名称。

无论如何，一旦您可以访问 X.columns 事物，您就可以对功能重要性做任何您喜欢的事情。我用特征名称绘制它们的示例代码使用permutation_importance，但显然feature_importance 给出了相同的结构，所以你可能会有一些运气，这对你有用。

from sklearn.inspection import permutation_importance
import matplotlib.pyplot as plt

def plot_feature_importance(model, X_train, y_train, feature_names):
   result = permutation_importance(model, X_train, y_train, n_repeats=10)
   perm_sorted_idx = result.importances_mean.argsort()

   fig, ax2 = plt.subplots(1, 1, figsize=(5, 15))
   ax2.boxplot(result.importances[perm_sorted_idx].T, vert=False,
               labels=feature_names[perm_sorted_idx])
   fig.tight_layout()
   plt.show()

在带有随机森林的 UCI ML 马绞痛集上，这给了我一个带有分类和数字名称的输出图像，如下所示：

【讨论】：