特征选择的名称

Question

我想知道我的 RF 模型中的功能名称。我读到heregs.best_estimator_.named_steps["stepname"].feature_importances_ 的输出会从我的数据中镜像我的列。但是，gs.best_estimator_.... 的长度是 10，我有 13 列。有些列并不重要。从周围的其他答案（answer1，answer2）来看，我必须在我的管道中声明一些东西。但我对声明什么感到困惑，因为这两个答案都涉及 PCA，而不是 RF。

这是我目前所拥有的。

from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import GridSearchCV
from sklearn import preprocessing
from sklearn.model_selection import train_test_split
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn import datasets

# use iris as example
iris = datasets.load_iris()
X = iris.drop(['sepal_length'],axis=1)
y = iris.sepal_length
cats_feats = ['species']
X_train, X_test, y_train, y_test = \
        train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=13)
# Pipeline
categorical_transformer = Pipeline(steps=[
                ('onehot', OneHotEncoder(handle_unknown='ignore',sparse=False))
                                    ])
# Bundle any preprocessing
preprocessor = ColumnTransformer(
    transformers=[
        ('cat', categorical_transformer, cat_feats)
    ])
rf = RandomForestRegressor(random_state = 13)
mymodel = Pipeline(steps = [('preprocessor', preprocessor),
                            ('model', rf)
                            ])
# For this example, I used default values. In reality I do use a dictionary of parameters
gs = GridSearchCV(mymodel
                           ,n_jobs = -1
                           ,cv = 5
                           )
gs.fit(X_train,y_train)

Answer 1

为什么特征列表的长度不匹配

您的特征长度不匹配，因为当您使用 ColumnTransformer 时，所有非分类列都被丢弃。默认情况下，它只保留指定了转换的列。因此，如果您不希望这种情况发生，则需要这样做

preprocessor = ColumnTransformer(transformers=[('cat', OneHotEncoder(), cat_feats)],
                                 remainder='passthrough')

（我删除了你的分类管道，这里没有必要）

另外请记住，应用 OHE 将添加功能，因此功能的总数将比您一开始拥有的更多。

如何获取特征名称

安装完所有内容后，您需要为 OHE 的结果和剩余的数字列检索特征名称。

对于 OHE 列：

cat_features = gs.best_estimator_["preprocessor"].named_transformers_["cat"].get_feature_names()

对于数字列，您需要声明 num_feats，其中所有数字特征的顺序与原始数据框中的顺序相同。

那就这样吧：

feature_names = np.concatenate((cat_features, num_feats))

PS：这有点麻烦，可能会在以后的sklearn版本中改进，但到目前为止，这是程序