如何将 FunctionTransformer 与 GridSearchCV 一起制作成管道？答案

【问题标题】：How can I make the FunctionTransformer along with GridSearchCV into a pipeline？如何将 FunctionTransformer 与 GridSearchCV 一起制作成管道？
【发布时间】：2019-08-21 19:58:02
【问题描述】：

基本上，我想将列索引视为超参数。然后调整这个超参数以及管道中的其他模型超参数。在下面的示例中，col_idx 是我的超参数。我自定义了一个函数叫log_columns，可以对某些列进行日志转换，函数可以传入FunctionTransformer。然后将 FunctionTransformer 和模型放入管道中。

from sklearn.svm import SVC
from sklearn.decomposition import PCA
from sklearn.datasets import load_digits
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import GridSearchCV
from sklearn.preprocessing import FunctionTransformer


def log_columns(X, col_idx = None):
    log_func = np.vectorize(np.log)
    if col_idx is None:
        return X
    for idx in col_idx:
        X[:,idx] = log_func(X[:,idx])
    return X

pipe = make_pipeline(FunctionTransformer(log_columns, ), PCA(), SVC())
param_grid = dict(functiontransformer__col_idx = [None, [1]],
              pca__n_components=[2, 5, 10],
              svc__C=[0.1, 10, 100],
              )

grid_search = GridSearchCV(pipe, param_grid=param_grid)
digits = load_digits()

res = grid_search.fit(digits.data, digits.target)

然后，我收到以下错误消息：

ValueError: Invalid parameter col_idx for estimator 
FunctionTransformer(accept_sparse=False, check_inverse=True,
      func=<function log_columns at 0x1764998c8>, inv_kw_args=None,
      inverse_func=None, kw_args=None, pass_y='deprecated',
      validate=None). Check the list of available parameters with 
`estimator.get_params().keys()`.

我不确定FunctionTransformer 是否允许我做我期望的事情。如果没有，我很想知道其他优雅的方法。谢谢！

【问题讨论】：

标签： python machine-learning scikit-learn

【解决方案1】：

col_idx 不是FunctionTransformer 类的有效参数，但kw_args 是。 kw_args 是 func 的附加关键字参数的字典。在你的情况下，唯一的关键字参数是col_idx。

试试这个：

param_grid = dict(
    functiontransformer__kw_args=[
        {'col_idx': None},
        {'col_idx': [1]}
    ],
    pca__n_components=[2, 5, 10],
    svc__C=[0.1, 10, 100],
)

【讨论】：

【解决方案2】：

首先，您应该检查参数，您可以调整：pipe.get_params().keys()。

之后，请查看documentation，了解如何组织param_grid。

【讨论】：