使用 scikit-learn 对分类特征进行特征选择

Question

我目前正在处理一个包含 5 列数字变量和 23 列分类变量的数据集。这些变量大多是名义变量（不是有序变量），可以包含 4 到 15 个不同的类别。我知道 OneHotEncoder 但我担心应用 rfecv 之类的东西会导致给定变量中的各个类别从分析中删除，而不是删除整个变量。谢谢！

Answer 1

这是一个实现基于树的特征重要性分析方法的函数。它实际上会返回原始数据框，其中仅包含按重要性排序的前 n 个特征。

from sklearn.ensemble import ExtraTreesClassifier

def select_best_Tree_features(df,target_var,top_n):
"""
:param df: pandas dataframe
:param target_var: string containing the target value column name 
:param top_n: integer indicating the number of columns to consider
:return:
"""
Y = df[target_var]
X = df.drop([target_var], axis=1)
model = ExtraTreesClassifier()
model.fit(X, Y)
f = pd.Series(model.feature_importances_, index=X.columns)
f.nlargest(top_n).plot(kind='barh')
plt.show()
print('\nFeatures Scores\n',f.sort_values(ascending=False))
top_list=f.nlargest(top_n).index.tolist()
X_fi = df[top_list]
return X_fi,Y,top_list

确保数据帧的每一列都包含数值或使用标签编码器进行转换