处理随机森林回归器中缺失的分类特征值的指南答案

【问题标题】：guidelines to handle missing categorical feature values in Random Forest Regressor处理随机森林回归器中缺失的分类特征值的指南
【发布时间】：2016-09-10 05:04:28
【问题描述】：

在使用随机森林回归器（或任何集成学习器）时，处理缺失的分类特征值的一般准则是什么？我知道 scikit learn 具有估算功能（例如均值...策略或接近度）来估算缺失值（数值）。但是，如何处理缺失的分类值：如工业（石油、计算机、汽车、无）、专业（学士、硕士、博士、无）。

欢迎提出任何建议。

【问题讨论】：

请注意，您已声明“任何建议都值得赞赏”，并且确实有人回答了您。如果答案有用，您可以点赞或接受；如果没有，您可以通过解释原因来帮助发布者。

标签： scikit-learn random-forest

【解决方案1】：

Breiman和Cutler，随机森林的发明人建议了两种可能的策略（参见http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm#missing1）：

随机森林有两种替换缺失值的方法。第一种方式很快。如果MTH变量不是分类，则方法计算在j类中，此变量的所有值的中位数，然后使用此值替换类中MTH变量的所有缺失值 j.如果MTH变量是分类的，则替换最多 j中频繁的非缺失值。这些替换值是被称为填充物。

替换缺失值的第二种方式是更多的昂贵但甚至给了比第一个更好的性能大量缺失数据。它替换了缺失的值训练集。它始于做出粗糙和不准确的填充缺失的值。然后它是一个森林运行和计算接近。

或者，请将标签变量放在一定时针，您可以使用分类器中的所有功能培训对有问题的分类变量的非空值的行上培训分类器。然后使用此分类器预测“测试集”中有问题的分类变量的值。使用更完整的数据集武装，您现在可以返回到预测原始标签变量的值的任务。

【讨论】：