如果我的测试数据在列中缺少值，我该如何解决一个热编码？

Question

例如，如果我的训练数据在 col 中有分类值 (1,2,3,4,5)，那么一个热编码将给我 5 cols。但是在我拥有的测试数据中，5个值中只有4个，即（1,3,4,5）。所以一个热编码只会给我4个cols。因此，如果我将训练有素的权重应用于测试数据，我会收到一个错误，因为火车和测试数据中 cols 的尺寸不匹配，dim(4)!=dim(5)。关于如何处理缺少的 col 值的任何建议？ 我的代码图片如下：

image

Answer 1

请大家不要犯这个错误！

是的，你可以通过连接训练和测试来欺骗自己，但真正的问题是在生产中。在那里，您的模型有一天会面临未知级别的分类变量，然后崩溃。

实际上，一些更可行的选择可能是：

1. 定期重新训练您的模型以考虑新数据。
2. 不要使用一热。说真的，还有很多更好的选择，比如留一编码 (https://www.kaggle.com/c/caterpillar-tube-pricing/discussion/15748#143154) 条件概率编码 (https://medium.com/airbnb-engineering/designing-machine-learning-models-7d0048249e69)、目标编码等等。一些分类器（例如 CatBoost）甚至具有内置的编码机制，Python 中有成熟的库（例如 target_encoders），您可以在其中找到许多其他选项。
3. 嵌入分类特征，这可以让您免于重新训练 (http://flovv.github.io/Embeddings_with_keras/)

Answer 2

您可以先组合两个数据帧，然后 get_dummies 然后拆分它们，以便它们可以具有确切的列数，即

#Example Dataframes 
Xtrain = pd.DataFrame({'x':np.array([4,2,3,5,3,1])})
Xtest = pd.DataFrame({'x':np.array([4,5,1,3])})


# Concat with keys then get dummies
temp = pd.get_dummies(pd.concat([Xtrain,Xtest],keys=[0,1]), columns=['x'])

# Selecting data from multi index and assigning them i.e
Xtrain,Xtest = temp.xs(0),temp.xs(1)

# Xtrain.as_matrix()
# array([[0, 0, 0, 1, 0],
#        [0, 1, 0, 0, 0],
#        [0, 0, 1, 0, 0],
#        [0, 0, 0, 0, 1],
#        [0, 0, 1, 0, 0],
#        [1, 0, 0, 0, 0]], dtype=uint8)

# Xtest.as_matrix()

# array([[0, 0, 0, 1, 0],
#        [0, 0, 0, 0, 1],
#        [1, 0, 0, 0, 0],
#        [0, 0, 1, 0, 0]], dtype=uint8)

不要遵循这种方法。这是一个有很多缺点的简单技巧。 @Vast 院士的回答解释得更好。