在 Pandas 中使用 Keras StandardScaler 和 Groupby 函数

Question

我有一个包含多列的 pandas 数据框。我需要在每一列上使用 groupby 函数，然后使用 Keras StandardScaler 函数来转换数据框中的每一列。我尝试了以下代码：

from sklearn.preprocessing import StandardScaler
scaler=StandardScaler()
df2= df.groupby('Sector').apply(lambda x: scaler.fit_transform(x.astype(float)))

但它按组返回数据列表，但是，我需要保留数据帧的初始结构。

我特别需要使用 StandardScaler，因为之后我想用它来转换测试功能。

在这种情况下有没有办法使用 StandardScaler？

Answer 1

我不明白你为什么要使用 group by。

获取数据副本

scaled_features = data.copy()

仅缩放几列

features = scaled_features[['column1','column2']]
scaler = StandardScaler().fit(features.values)
features = scaler.transform(features.values)

要转换列，您也可以按照自己的方式进行。或者也可以使用查询，您只能获取值与您的查询匹配的这些数据。

df_c = df['column'].apply(lambda x: scaler.fit_transform(x.astype(float)))
df_cc = df[df['column'] == '...'].apply((lambda x: scaler.fit_transform(x.astype(float)))

另一种方法是使用ColumnTransformer

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler

ct = ColumnTransformer([
        ('name', StandardScaler(), ['column1', 'column2'])
    ], remainder='passthrough')

ct.fit_transform(features)