包含 NA 的因子列的唯一值 =>“哈希表已满”错误

Question

我有一个包含 57m 条记录和 9 列的 data.table，当我尝试运行一些摘要统计信息时，其中之一会导致问题。违规列是一个具有 3699 个级别的因素，我收到以下代码行的错误：

    > unique(da$UPC)
    Error in unique.default(da$UPC): hash table is full

现在显然我只会使用：levels(da$UPC)，但我试图将每个组中存在的唯一值计算为 data.table 组语句中多个 j 参数/计算的一部分。

有趣的是 unique(da$UPC[1:1000000]) 按预期工作，但 unique(da$UPC[1:10000000]) 没有。鉴于我的表有 57m 条记录，这是一个问题。

我尝试将因子转换为字符，如下所示没有问题：

    da$UPC = as.character(levels(da$UPC))[da$UPC]
    unique(da$UPC)

这样做确实向我展示了一个额外的“级别”，即NA。因此，因为我的数据在因子列中有一些 NA，所以 unique 函数无法工作。我想知道这是否是开发人员知道需要修复的东西？我在 r-devel 上找到了以下可能相关的文章，但我不确定，它没有提到 data.table。

Linked article: unique(1:3,nmax=1) freezes R!

    sessionInfo:

    R version 3.0.1 (2013-05-16)
    Platform: x86_64-unknown-linux-gnu (64-bit)

    locale:
     [1] LC_CTYPE=C                    LC_NUMERIC=C
     [3] LC_TIME=en_US.iso88591        LC_COLLATE=C
     [5] LC_MONETARY=en_US.iso88591    LC_MESSAGES=en_US.iso88591
     [7] LC_PAPER=C                    LC_NAME=C
     [9] LC_ADDRESS=C                  LC_TELEPHONE=C
     [11] LC_MEASUREMENT=en_US.iso88591 LC_IDENTIFICATION=C

    attached base packages:
    [1] stats     graphics  grDevices utils     datasets  methods   base

    other attached packages:
    [1] plyr_1.8         data.table_1.8.8

Answer 1

这个 sn-p 代码应该将您丢失的观察结果放到一个更易于管理的常规级别。

# Need additional level to place missing into first
levels(da$UPC) <- c(levels(da$UPC), '(NA)')
da$UPC[is.na(da$UPC)] <- '(NA)'

听起来您最终会尝试降低不常见的级别以协助进行某种分析。我写了一个函数 factorize() 我相信它可以帮助你。它将不常见的关卡归入“其他”类别。

这是链接，如果有帮助请告诉我。

[分解()][1] https://github.com/greenpat/R-Convenience/blob/master/factorize.R

（转载如下）

# This function takes a vector x and returns a factor representation of the same vector.
# The key advantage of factorize is that you can assign levels for infrequent categories,
# as well as empty and NA values. This makes it much easier to perform
# multidimensional/thematic analysis on your largest population subsets.
factorize <- function(
    x,  # vector to be transformed
    min_freq = .01,  # all levels < this % of records will be bucketed
    min_n = 1,  # all levels < this # of records will be bucketed
    NA_level = '(missing)',  # level created for NA values
    blank_level = '(blank)',  # level created for "" values
    infrequent_level = 'Other',  # level created for bucketing rare values
    infrequent_can_include_blank_and_NA = F,  # default NA and blank are not bucketed
    order = T,  # default to ordered
    reverse_order = F  # default to increasing order
) {
    if (class(x) != 'factor'){
        x <- as.factor(x)
    }
    # suspect this is faster than reassigning new factor object
    levels(x) <- c(levels(x), NA_level, infrequent_level, blank_level)

    # Swap out the NA and blank categories
    x[is.na(x)] <- NA_level
    x[x == ''] <- blank_level

    # Going to use this table to reorder
    f_tb <- table(x, useNA = 'always')

    # Which levels will be bucketed?
    infreq_set <- c(
        names(f_tb[f_tb < min_n]),
        names(f_tb[(f_tb/sum(f_tb)) < min_freq])
    )

    # If NA and/or blank were infrequent levels above, this prevents bucketing
    if(!infrequent_can_include_blank_and_NA){
        infreq_set <- infreq_set[!infreq_set %in% c(NA_level, blank_level)]
    }

    # Relabel all the infrequent choices
    x[x %in% infreq_set] <- infrequent_level

    # Return the reordered factor
    reorder(droplevels(x), rep(1-(2*reverse_order),length(x)), FUN = sum, order = order)
}

Answer 2

你能用dplyr 得到不同的结果吗？例如，我设置了一些（小）假数据，然后确定alpha 的不同级别。不过我不知道它的扩展性如何。

test <- data.frame(alpha=sample(c('a', 'b', 'c'), 100000, replace=TRUE), 
                  num=runif(100000))

uniqueAlpha <- distinct(select(test, alpha))

Answer 3

也许我没有抓住重点，但如果它是一个 data.table 对象，您可以使用它来总结计数：

da[,.N, by=UPC]

如果有效，唯一值将是：

unique <- da[,.N, by=UPC]$UPC
length(unique)

您也可以按多列分组：

da[,.N,by=.(A,B,C,..)]

Answer 4

不确定是否能解决问题，但您可以查看 Hadley Wickham 的 forcats 包：

library(forcats)
fct_count(da$UPC)