优化元估计器答案

【问题标题】：Optimising a meta estimator优化元估计器
【发布时间】：2018-07-21 01:50:10
【问题描述】：

我正在尝试使用 scikit-learn 的 GridSearchCV 函数来找到一些基本模型的最佳参数，然后将其输入到堆叠估计器中。

我的代码基于这篇文章（我用来说明）：https://stats.stackexchange.com/questions/139042/ensemble-of-different-kinds-of-regressors-using-scikit-learn-or-any-other-pytho/274147

我想对我的估计器的参数（主要是脊参数、KNN 中的邻居数以及射频深度和溢出）执行网格搜索，但我无法让它工作。我定义了模型，如下：

from sklearn.base import TransformerMixin
from sklearn.datasets import make_regression
from sklearn.pipeline import Pipeline, FeatureUnion
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from sklearn.neighbors import KNeighborsRegressor
from sklearn.preprocessing import StandardScaler, PolynomialFeatures
from sklearn.linear_model import LinearRegression, Ridge

class RidgeTransformer(Ridge, TransformerMixin):

    def transform(self, X, *_):
        return self.predict(X)


class RandomForestTransformer(RandomForestRegressor, TransformerMixin):

    def transform(self, X, *_):
        return self.predict(X)


class KNeighborsTransformer(KNeighborsRegressor, TransformerMixin):

    def transform(self, X, *_):
        return self.predict(X)


def build_model():
    ridge_transformer = Pipeline(steps=[
        ('scaler', StandardScaler()),
        ('poly_feats', PolynomialFeatures()),
        ('ridge', RidgeTransformer())
    ])

    pred_union = FeatureUnion(
        transformer_list=[
            ('ridge', ridge_transformer),
            ('rand_forest', RandomForestTransformer()),
            ('knn', KNeighborsTransformer())
        ],
        n_jobs=2
    )

    model = Pipeline(steps=[
         ('pred_union', pred_union),
         ('lin_regr', LinearRegression())
    ])

return model

现在，我想对森林的参数运行 CV。我可以通过以下方式获取参数：

print(model.get_params().keys())

但是当我运行下面的代码时，我仍然得到一个错误：

pipe = Pipeline(steps=[('reg', model)])

parameters = {'pred_union__rand_forest__n_estimators':[20, 50, 100, 200]}

g_search = GridSearchCV(pipe, parameters)

X, y = make_regression(n_features=10, n_targets=2)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

g_search.fit(X_train, y_train)

Invalid parameter pred_union for estimator Pipeline(memory=None,
 steps=[('reg', Pipeline(memory=None,
 steps=[('pred_union', FeatureUnion(n_jobs=2,
   transformer_list=[('ridge', Pipeline(memory=None,
 steps=[('scaler', StandardScaler(copy=True, with_mean=True, with_std=True)), ('poly_feats', PolynomialFeatures(degree=2, include_bias=True, interaction_only=False)), ('ridge', RidgeTransformer(...=None)), ('lin_regr', LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False))]))]). Check the list of available parameters with `estimator.get_params().keys()`.

我做错了什么？

【问题讨论】：

标签： python python-3.x scikit-learn

【解决方案1】：

您的model 实际上已经是一个管道，那么为什么还要将它再次包装在管道中呢？不需要pipe = Pipeline(steps=[('reg', model)])。只需在网格搜索中使用model。

但如果您想将其包装在管道中然后工作，则需要通过将'reg' 附加到每个名称来更新参数。

parameters = {'reg__pred_union__rand_forest__n_estimators':[20, 50, 100, 200]}

【讨论】：