我正在研究具有维度的 R 数据集
dim(adData)
[1] 15844717 11
在 11 个功能中，
一个特性是在 15844717 个中具有 273596 个（用作 id 的随机整数）唯一值。
第二个特点是在 15844717 中拥有 884353（用作 id 的随机整数）唯一值。
我的困惑是是否将它们转换为因子，因为具有大量级别的分类变量会在建模时产生问题，或者请建议如何处理它们。
我是数据科学的新手，以前从未处理过大型数据集。
【问题讨论】：
标签： r categorical-data
一个变量的~300k 类别肯定会导致计算问题。我将首先退后一步，检查这个变量的性质及其与手头预测的相关性。在不知道数据来源的情况下，很难给出具体的建议。
如果它确实是一个分类变量，那么将 id 保留为数字变量将是愚蠢的，因为 id 的比例和顺序可能毫无意义。
是否可以将级别分成更少但仍然有意义的类别？
示例 1：如果 id 是美国的邮政编码，则可能有 40,000 个唯一值。这些可以分组到州或地区，将级别数减少到 50 或更少。
示例 2：如果 id 是来自电子商务网站的产品 id，它们可以按产品类别或子类别进行分组。可以使用的不同值会少得多。
另一个选项是检查每个类别的相对频率。如果有几个非常常见的类别，有数千个稀有类别，您可以保留常见的关卡并将稀有关卡归为“其他”类别。
【讨论】：