将“pandas.get_dummies”转换到新数据的简单方法？

Question

假设我有一个数据框data，其中包含我想转换为指标的字符串。我使用pandas.get_dummies(data) 将其转换为我现在可以用于构建模型的数据集。

现在我有一个新的观察结果，我想在我的模型中运行。显然我不能使用pandas.get_dummies(new_data)，因为它不包含所有的类并且不会制作相同的指标矩阵。有什么好办法吗？

Answer 1

提取 JAB 的答案以便在 sklearn 管道中使用它，此代码可能会对您有所帮助：

from sklearn.base import BaseEstimator, TransformerMixin

class GetDummies(BaseEstimator, TransformerMixin):
    def __init__(self, dummy_columns):
        self.columns = None
        self.dummy_columns = dummy_columns

    def fit(self, X, y=None):
        self.columns = pd.get_dummies(X, columns=self.dummy_columns).columns
        return self

    def transform(self, X):
        X_new = pd.get_dummies(X, columns=self.dummy_columns)
        return X_new.reindex(columns=self.columns, fill_value=0)

Answer 2

您可以从单个新观察中创建虚拟对象，然后使用原始指标矩阵中的列重新索引此框架列：

import pandas as pd
df = pd.DataFrame({'cat':['a','b','c','d'],'val':[1,2,5,10]})
df1 = pd.get_dummies(pd.DataFrame({'cat':['a'],'val':[1]}))
dummies_frame = pd.get_dummies(df)
df1.reindex(columns = dummies_frame.columns, fill_value=0)

返回：

        val     cat_a   cat_b   cat_c   cat_d
  0     1       1       0       0       0