R：计算唯一条目的累积数量

Question

我有一个来自多个实验的数据框。我希望计算每次连续实验后获得的唯一值的累积数量。

例如，考虑：

test <- data.frame(exp = c( rep("exp1" , 4) , rep("exp2" , 4), rep("exp3" , 4) , rep("exp4" , 5) ) , 
                   entries = c("abcd","efgh","ijkl","mnop", "qrst" , "uvwx" , "abcd","efgh","ijkl" , "qrst" , "uvwx", 
                               "yzab" , "yzab" , "cdef" , "mnop" , "uvwx" , "ghij"))

> test
    exp entries
1  exp1    abcd
2  exp1    efgh
3  exp1    ijkl
4  exp1    mnop
5  exp2    qrst
6  exp2    uvwx
7  exp2    abcd
8  exp2    efgh
9  exp3    ijkl
10 exp3    qrst
11 exp3    uvwx
12 exp3    yzab
13 exp4    yzab
14 exp4    cdef
15 exp4    mnop
16 exp4    uvwx
17 exp4    ghij

唯一条目的总数为九。现在我希望结果看起来像：

   exp cum_unique_entries
1  exp1    4
2  exp2    6
3  exp3    7
4  exp4    9

最后我想以条形图的形式绘制它。 我可以使用 for 循环方法来做到这一点，但感觉必须有更优雅的方式。

Answer 1

这是dplyr 的另一个解决方案：

library(dplyr)

test %>%
  mutate(cum_unique_entries = cumsum(!duplicated(entries))) %>%
  group_by(exp) %>%
  slice(n()) %>%
  select(-entries)

或

test %>%
  mutate(cum_unique_entries = cumsum(!duplicated(entries))) %>%
  group_by(exp) %>%
  summarise(cum_unique_entries = last(cum_unique_entries))

结果：

# A tibble: 4 x 2
     exp cum_unique_entries
  <fctr>              <int>
1   exp1                  4
2   exp2                  6
3   exp3                  7
4   exp4                  9

注意：

首先求所有非重复项的累积总和（cumsum(!duplicated(entries))），group_byexp，并取每组的最后一个cumsum，这个数字就是每组的累积唯一条目。

Answer 2

library(data.table) 我们可以做到

setDT(test)[, new := cumsum(!duplicated(entries))]
test[, .(cum_unique_entries = new[.N]), by = exp]

Answer 3

1) sqldf 这可以在单个复杂连接中完成：

library(sqldf)

sqldf("select b.exp, count(Distinct a.entries) cum 
       from test a join test b on a.exp <= b.exp group by b.exp")

给予：

   exp cum
1 exp1   4
2 exp2   6
3 exp3   7
4 exp4   9

这个想法也可以使用其他框架翻译成相应的代码，尽管它在 base 和 dplyr 中效率很低，因为必须进行 n x n 笛卡尔连接然后对其进行子集化，而 SQL 可能会对其进行优化以避免产生大的中间结果。

2) rollapplyr 按exp 对test 排序，并使用rollapplyr 计算唯一条目的累积数量。然后使用!duplicated(..., fromLast = TRUE) 取每个exp 组的最后一个

library(zoo)

n <- nrow(test)    
test_sorted <- test[order(test$exp), ]
len_uniq <- function(x) length(unique(x))
test_cum <- transform(test_sorted,  cum = rollapplyr(entries, 1:n, len_uniq, fill = NA))
test_cum[!duplicated(test_cum$exp, fromLast = TRUE), -2]

给予：

    exp cum
4  exp1   4
8  exp2   6
12 exp3   7
17 exp4   9

Answer 4

temp = split(test$entries, test$exp)
data.frame(E = names(temp),
           V = sapply(Reduce(c, temp, accumulate = TRUE), function(x) length(unique(x))))
#     E V
#1 exp1 4
#2 exp2 6
#3 exp3 7
#4 exp4 9

Answer 5

我会使用 reshape 包中的 cast 函数（simple example、full reference）。 它应该像

一样简单

reshape::cast(test, exp~., value="entries", function(x) length(unique(x)) )

我正在做的是告诉函数考虑您的数据集，使用 test 变量作为 id 变量并“忽略”所有其他变量（这就是 . 的含义），添加“指标" 由在名为 entries 的列上计算的给定函数 (function(x) length(unique(x))) 返回。

有点像SQL 聚合函数和group by 构造！ 它的 SQL 等价物是

SELECT exp, count(distinct entries)
FROM test
GROUP BY test