【问题标题】:How to deal with imputation and hot one encoding in pandas?如何处理 pandas 中的插补和热门编码?
【发布时间】:2018-10-30 16:28:40
【问题描述】:

我正在尝试在我的数据集上同时应用插补和热门编码。我知道在应用插补时,数据的维度可能会发生变化,所以我手动处理了它。该模型运行良好,但后来我决定应用热编码。现在,该程序无法编译。我收到尺寸不匹配错误。

test_X = pd.get_dummies(test)
train_X = pd.get_dummies(train)

col_with_missingVal = (col for col in train_X.columns if train_X[col].isnull().any())
for col in col_with_missingVal:
    train_X[col + 'is_missing'] = train_X[col].isnull()
    test_X[col + 'is_missing'] = test_X[col].isnull()

#impute the data
imputer = Imputer()
imp_train_X = pd.DataFrame(imputer.fit_transform(train_X))
imp_test_X = pd.DataFrame(imputer.fit_transform(test_X))
imp_train_X.columns = train_X.columns
imp_test_X.columns = test_X.columns

#Fit the model
my_model = RandomForestRegressor()
my_model.fit(imp_train_X, train_y)

# Use the model to make predictions
predicted_prices = my_model.predict(imp_test_X) 

我在最后一行代码中收到以下错误:

ValueError: Number of features of the model must match the input. Model n_features is 293 and input n_features is 274

此错误的原因是什么?如何解决?

【问题讨论】:

    标签: python pandas machine-learning scikit-learn


    【解决方案1】:

    问题出在前两行。 pd.get_dummies() 将返回不同的列进行训练并测试其中的数据是否不同。

    例如,如果在火车中,一列有 3 个类别,将为它们创建 3 个列,但可能会发生测试数据在该特定列中仅包含 2 个类别,因为您将在 @ 之后获得 2 个列987654325@。这将导致不同的列数。

    您可以在这里做几件事:

    1) 最简单在训练测试拆分之前对整个数据使用pd.get_dummies(),然后拆分数据。但不推荐,因为它会将测试数据的信息泄露给模型。

    2)如果可以使用scikit的开发版,请使用CategoricalEncoder进行一次热编码。

    3) 在当前 scikit 版本中使用 LabelEncoder + OneHotEncoder 的组合来实现相同的效果。例如,请参阅my other answer。

    注意

    也只在测试数据上调用transform(),从不调用fit()。这样做:-

    # If you call fit_transform(), the imputer will again learn the 
    # new mean from the test data
    # Which will lead to differences and data leakage.
    imp_test_X = pd.DataFrame(imputer.transform(test_X))
    

    【讨论】:

    • 这是一个很好的答案。它没有明确涵盖的唯一麻烦是相反的情况 - 当测试数据集具有比训练集更多的类别时。我相信在这种情况下,引发的错误将是相同的。并且解决方案 1) 和 2) 仍然有效,但您在 1) 中提到了数据泄漏警告。但是,解决方案 3) 中断,因为 LabelEncoder 无法处理新类别。
    • @MykhailoLisovyi 那是因为它应该是这样。想想现实世界的场景,你会遇到一些新事物(训练中不存在的新类别)。在那里你需要决定做什么?您可以在训练中创建一个新类别(命名为 UNKNOWN)来容纳新标签。但是对于所有训练,该列将是空的,因此模型不能更加重视这一点。或者在预测期间,您留下那些包含此类类别的样本。然后过了一段时间,你用这些数据训练模型。希望这能说明问题。
    • 我相信,还有第三种选择,它在CategoricalEncoder 中实现,即:在最终的 OHE 输出中,将零到所有训练已知类别中,用于训练未知类别。这可能是可能的,但使用LabelEncoder+OneHotEncoder 序列实现起来并不简单。
    • @MykhailoLisovyi 你说的是 CategoricalEncoder 中的 handle_unknown。类似的东西在my answer here for LabelEncoder 中实现
    • 是的,确实,我说的是CategoricalEncoder 的handle_unknown 参数。是的,您在其他答案中的解决方案朝着这个方向发展,我将来会尝试一下:) 我相信,添加评论以处理您的选项 3) 以及指向您的答案的链接是很有用的您包含在 cmets 中
    【解决方案2】:

    我一直在努力解决类似的问题,我找到了一种可能有助于解决这种情况的方法。

    主要思想是在使用完整数据集时修改列的类型以使其分类。做这样的事情:

    dataframe[column] = dataframe[column].astype('category')
    

    当您这样做时,数据框的列将保存所有可用的类别。稍后,当您执行数据的训练/测试拆分时,将保存类别,即使这些值可能未显示在某个数据集上。

    Pandas get_dummies 函数使用列的类别来执行编码。由于类别是稳定的,因此编码后您将始终获得相同数量的列。

    我自己也在探索这个解决方案。请记住,您可以在需要时直接操作类别。你可以使用这样的东西

    dataframe[column].cat.set_categories([.....])

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-06-08
      • 2021-10-27
      • 2019-07-06
      • 1970-01-01
      • 1970-01-01
      • 2021-09-27
      • 1970-01-01
      • 2017-09-06
      相关资源
      最近更新 更多