对不同值可能超过一百万的分类数据使用什么编码答案

【问题标题】：What encoding to use for categorical data where distinct values might be over a million对不同值可能超过一百万的分类数据使用什么编码
【发布时间】：2023-04-03 05:09:01
【问题描述】：

我的机器学习用例是根据姓名和国籍这两个特征来分类性别是男性 (1) 还是女性 (2)。记录总数为8000万。示例如下：

Name    Nationality Gender
John    201           1
Sue     401           2
Smith   401           1
.... Millions of rows (but to start I'm just picking 10K records)

据我了解，必须对分类数据进行编码。我已经浏览了许多示例，我可以看到这些示例中的不同值是合理的，而在我的用例中，不同的值甚至可以是 100 万。我一开始只使用了大约 10K 的样本并实现了 labelEncoder 和不同的算法。根本没有得到很好的准确性。最好的是来自决策树分类器的 0.78。机器学习新手，我有以下问题：

我认为只需要对名称进行编码。你怎么看？
在这种情况下使用什么编码器，考虑到可能有数十万个不同的值？
您认为哪种算法更适用于此类有问题吗？

【问题讨论】：

标签： machine-learning scikit-learn

【解决方案1】：

尝试更多地进行特征探索，例如 n-gams 可能有用这可能会对你未知的例子有所帮助

只是一个名字对你没有多大帮助，它只是记忆

【讨论】：