在 Pandas 数据框列的子集上的管道中使用 scikit StandardScaler

Question

我想在 pandas 数据框列的子集上使用 sklearn.preprocessing.StandardScaler。在管道之外，这是微不足道的：

df[['A', 'B']] = scaler.fit_transform(df[['A', 'B']])

但现在假设我在 df 中具有字符串类型的列“C”和以下管道定义

from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline

pipeline =  Pipeline([
                ('standard', StandardScaler())
            ])

df_scaled = pipeline.fit_transform(df)

如何告诉 StandardScaler 仅缩放 A 列和 B 列？

我习惯了 SparkML 管道，可以将要缩放的特征传递给缩放器组件的构造函数：

normalizer = Normalizer(inputCol="features", outputCol="features_norm", p=1.0)

注意：特征列包含一个稀疏向量，其中包含由 Spark 的 VectorAssembler 创建的所有数字特征列

Answer 1

在直接 sklearn 中，您需要将 FunctionTransformer 与 FeatureUnion 一起使用。也就是说，您的管道将如下所示：

pipeline =  Pipeline([
            ('scale_sum', feature_union(...))
        ])

在特征联合中，一个函数会将标准缩放器应用于某些列，而另一个函数将通过其他列保持不变。

---

使用Ibex（我合写的正是为了让 sklearn 和 pandas 更好地工作），你可以这样写：

from ibex.sklearn.preprocessing import StandardScaler
from ibex import trans

pipeline = (trans(StandardScaler(), in_cols=['A', 'B']) + trans(None, ['c', 'd'])) | <other pipeline steps>

Answer 2

您可以查看sklearn-pandas，它提供了 Pandas DataFrame 和 sklearn 的集成，例如使用 DataFrameMapper：

mapper = DataFrameMapper([
...     (list_of_columnnames, StandardScaler())
... ])

如果你不需要外部依赖，你可以使用一个简单的自己的转换器，正如我回答的here：

class Columns(BaseEstimator, TransformerMixin):
    def __init__(self, names=None):
        self.names = names

    def fit(self, X, y=None, **fit_params):
        return self

    def transform(self, X):
        return X[self.names]

pipe =  make_pipeline(Columns(names=list_of_columnnames),StandardScaler())