R：data.table 计数 !NA 每行

Question

我正在尝试计算每行不包含 NA 的列数，并将该值放入该行的新列中。

示例数据：

library(data.table)

a = c(1,2,3,4,NA)
b = c(6,NA,8,9,10)
c = c(11,12,NA,14,15)
d = data.table(a,b,c)

> d 
    a  b  c
1:  1  6 11
2:  2 NA 12
3:  3  8 NA
4:  4  9 14
5: NA 10 15

我想要的输出将包括一个新列 num_obs，其中包含每行非 NA 条目的数量：

    a  b  c num_obs
1:  1  6 11       3
2:  2 NA 12       2
3:  3  8 NA       2
4:  4  9 14       3
5: NA 10 15       2

我已经阅读了几个小时，到目前为止，我想出的最好的方法是循环遍历行，我知道这在 R 或 data.table 中是不可取的。我确信有更好的方法可以做到这一点，请赐教。

我的蹩脚方式：

len = (1:NROW(d))
for (n in len) {
  d[n, num_obs := length(which(!is.na(d[n])))]
}

Answer 1

尝试使用Reduce 将+ 调用链接在一起：

d[, num_obs := Reduce(`+`, lapply(.SD,function(x) !is.na(x)))]

如果速度很关键，您可以参考 Ananda 的建议，对要评估的列数进行硬编码：

d[, num_obs := 4 - Reduce("+", lapply(.SD, is.na))]

从上面使用 Ananda 的较大 data.table d 进行基准测试：

fun1 <- function(indt) indt[, num_obs := rowSums(!is.na(indt))][]
fun3 <- function(indt) indt[, num_obs := Reduce(`+`, lapply(.SD,function(x) !is.na(x)))][]
fun4 <- function(indt) indt[, num_obs := 4 - Reduce("+", lapply(.SD, is.na))][]

library(microbenchmark)
microbenchmark(fun1(copy(d)), fun3(copy(d)), fun4(copy(d)), times=10L)

#Unit: milliseconds
#          expr      min       lq     mean   median       uq      max neval
# fun1(copy(d)) 3.565866 3.639361 3.912554 3.703091 4.023724 4.596130    10
# fun3(copy(d)) 2.543878 2.611745 2.973861 2.664550 3.657239 4.011475    10
# fun4(copy(d)) 2.265786 2.293927 2.798597 2.345242 3.385437 4.128339    10

Answer 2

很快想到的两个选项是：

d[, num_obs := sum(!is.na(.SD)), by = 1:nrow(d)][]
d[, num_obs := rowSums(!is.na(d))][]

第一个方法是创建一个“组”，每组只有一行 (1:nrow(d))。没有它，它只会对整个表中的 NA 值求和。

第二个使用了已经非常高效的基本 R 函数，rowSums。

这里是更大数据的基准：

set.seed(1)
nrow = 10000
ncol = 15
d <- as.data.table(matrix(sample(c(NA, -5:10), nrow*ncol, TRUE), nrow = nrow, ncol = ncol))

fun1 <- function(indt) indt[, num_obs := rowSums(!is.na(indt))][]
fun2 <- function(indt) indt[, num_obs := sum(!is.na(.SD)), by = 1:nrow(indt)][]

library(microbenchmark)
microbenchmark(fun1(copy(d)), fun2(copy(d)))
# Unit: milliseconds
#           expr        min         lq       mean     median         uq      max neval
#  fun1(copy(d))   3.727958   3.906458   5.507632   4.159704   4.475201 106.5708   100
#  fun2(copy(d)) 584.499120 655.634889 684.889614 681.054752 712.428684 861.1650   100

---

顺便说一句，空的[] 只是为了打印结果data.table。当您想要从“data.table”中的set* 函数返回输出时，这是必需的。