Sklearn 管道中的自定义预处理器

Question

我正在构建机器学习模型管道。我有一个自定义函数，它将更改特定列的值。我已经定义了自定义变压器，它单独工作正常。但是如果我从管道中调用它，它会抛出错误。

示例数据框

df = pd.DataFrame({'y': [4,5,6], 'a':[3,2,3], 'b' : [2,3,4]})

import numpy as np
import pandas as pd
import sklearn
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer

class Extractor(BaseEstimator, TransformerMixin):
  def __init__(self):
    return None
  def fit(self, x, y=None):
    return self
  def map_values(self, x):
    if x in [1.0,2.0,3.0]:
      return "Class A"
    if x in [4.0,5.0,6.0]:
      return "Class B"
    if x in [7.0,8.0]:
      return "Class C"
    if x in [9.0,10.0]:
      return "Class D"
    else:
      return "Other"
  def transform(self, X):
    return self
  def fit_transform(self, X):
    X = X.copy()
    X = X.apply(lambda x : self.map_values(x))
    return X

e = Extractor()
e.fit_transform(df['a'])
0    Class A
1     Clas C
2      Other
3    Class B
Name: a, dtype: object

管道

features = ['a']
numeric_features=['b']

numeric_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='median'))])
custom_transformer = Pipeline(steps=[
    ('map_value', Extractor())])

preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('time',custom_transformer, features)])

X_new = df[['a','b']]
y_new = df['y']

X_transform = preprocessor.fit_transform(X_new,y_new)

TypeError: All estimators should implement fit and transform, or can be 'drop' or 'passthrough' specifiers. 'Pipeline(steps=[('map_value', Extractor())])' (type <class 'sklearn.pipeline.Pipeline'>) doesn't.

我想让自定义处理器在管道中工作。

Answer 1

所以我尝试使用您的代码并发现了一些问题。以下是更新后的代码和一些备注。

首先，在复制粘贴您的代码并添加 SimpleImputer 的缺失导入后，我无法重现您的错误。相反，它显示了错误：“TypeError：fit_transform() 采用 2 个位置参数，但给出了 3 个”。经过一番研究，我找到了这个修复here并调整了你的方法。

但是现在它返回了错误：“ValueError：一个Series的真值是不明确的。使用a.empty、a.bool()、a.item()、a.any()或a.all() 。”

问题是，您的 Extractor 需要/期望 Pandas.Series，其中每个条目都是一个数字，以便它可以映射到您的一个类。所以这意味着它像列表一样是一维的。这适用于 df['a']，它基本上是 [3,2,3]。

但是当你尝试使用 df[['a','b']] 时，你使用了两列，这意味着有两个列表，一个是 [3,2,3]，另一个是b 是 [2,3,4]。

所以在这里你需要决定你真正想要你的提取器做什么。我的第一个想法是，你可以把 a 和 b 放到一个列表中，这样它就形成了 [3,2,3,2,3,4]，但是你最终会得到 6 个类，这与你的三个不匹配y 个条目。

因此，我相信您想实现一些方法，该方法接受一个类列表，并可能选择最具代表性的类或其他东西。

例如你需要将 a[0] & b[0] 映射到 y[0]，所以 Class A & Class A = 4（与 y[0] 匹配）。

import numpy as np
import pandas as pd
import sklearn
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
# Added import
from sklearn.impute import SimpleImputer

class Extractor(BaseEstimator, TransformerMixin):
  def __init__(self):
    return None
  def fit(self, x, y=None):
    return self
  def map_values(self, x):
    if x in [1.0,2.0,3.0]:
      return "Class A"
    if x in [4.0,5.0,6.0]:
      return "Class B"
    if x in [7.0,8.0]:
      return "Class C"
    if x in [9.0,10.0]:
      return "Class D"
    else:
      return "Other"

  def transform(self, X):
    return self

  def fit_transform(self, X, y=0):
    # TypeError: fit_transform() takes 2 positional arguments but 3 were given
    # Adjusted: https://intellipaat.com/community/2966/fittransform-takes-2-positional-arguments-but-3-were-given-with-labelbinarizer

    # ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().
    # -> compare df['a'].shape and X_new.shape. df['a'] is basically [3,2,3] and X_new is [[3,2,3],[2,3,4]]. Using X_new['a'] or X_new['b'] works. 
    # But with both columns, its not clear which should be mapped -> therefore ambiguous
    X = X.copy()
    X = X.apply(lambda x : self.map_values(x))
    return X

df = pd.DataFrame({'y': [4,5,6], 'a':[3,2,3], 'b' : [2,3,4]})

e = Extractor()
e.fit_transform(df['a'])


features = ['a']
numeric_features=['b']

numeric_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='median'))])
custom_transformer = Pipeline(steps=[
    ('map_value', Extractor())])

preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('time',custom_transformer, features)])

X_new = df[['a','b']]
y_new = df['y']

# Triedpd.Series(X_new.values.flatten().tolist()), but tuple index out of range, because of course there are 6 x and only 3 y values now.
X_transform = preprocessor.fit_transform(pd.Series(X_new.values.flatten().tolist()),y_new)