【问题标题】:Efficient way to calculate sum or return NA if all values are NA如果所有值都是 NA,则计算总和或返回 NA 的有效方法
【发布时间】:2019-06-06 07:50:34
【问题描述】:

在模拟过程中,我创建了包含超过 1,000,000 个变量的多个数据集。但是,这些变量的一些值是NA,在某些情况下甚至所有值都是NA。现在我想计算变量所有值的总和,但如果所有值都是NA,我想得到NA。

常见的sum(x, na.rm=T) 或sum(na.omit(x)) 的问题是,如果所有值都是NA,则返回0。因此,我编写了自己的函数,以预期的方式处理NA:

sumna <- function(x) {
  sumna <- NULL
  return(ifelse(all(is.na(x)), NA, sum(na.omit(x))))
}

但是,这种实现相当缓慢。

因此,我正在寻找一种实现或预实现的函数,它对向量的值求和,如果所有值都是 NA,则省略 NA 并返回 NA。

非常感谢!

【问题讨论】:

  • 你能解释一下'相当慢'是什么意思吗?生成一百万个随机偏差x &lt;- rnorm(1000000) 比应用sumna(x) 和sumna(x) 需要几毫秒,所以我猜你的大部分计算时间都在模拟中而不是这一步?

标签: r sum na


【解决方案1】:

来自hablar 的sum_ 具有与OP 想要的相同的行为。所以,没必要重新发明轮子

library(hablar)
sum_(c(1:10, NA))
#[1] 55
sum_(c(NA, NA, NA))
#[1] NA

可以在tidyverse或data.table中使用

library(dplyr)
df1 %>%
    summarise_all(sum_)

但是,如果我们需要更改 OP 的自定义功能,而不是 ifelse,更好的选择是 if/else

sumna <- function(x) {
       if(all(is.na(x))) NA else sum(x, na.rm = TRUE)
   }

另外,我们可以使用向量化的colSums

v1 <- colSums(df1, na.rm = TRUE)
v1[colSums(is.na(df1)) == nrow(df1)] <- NA

由于数据集很大,我们也可以利用高效的data.table

library(data.table)
setDT(df1)[, lapply(.SD, sumna)]

或使用tidyverse

library(tidyverse)
df1 %>%
     summarise_all(sumna)

【讨论】:

  • 非常感谢,我想这正是我需要的!
  • sum_ 很慢? x = rnorm(1000000); microbenchmark(sumna(x), sum_(x)) 为你的sumna()?
【解决方案2】:

在比较发布的方法时,user10488504 function c 目前对于总和为 != 0 并且您没有只有 NA 的情况下性能最高。如果您只有 NA 的 Anti、RonakShah 和 akrun 很好:

sumna_Anti <- function(x) {
  sumna <- NULL
  return(ifelse(all(is.na(x)), NA, sum(na.omit(x))))
}

sumna_RonakShah <- function(x) {
   c(NA, sum(x, na.rm = TRUE))[(sum(is.na(x)) != length(x)) +1]
}

sumna_akrun <- function(x) {
       if(all(is.na(x))) NA else sum(x, na.rm = TRUE)
   }

sumna_user10488504_a <- function(x) {
    x <- na.omit(x)
    if(length(x)) return(sum(x))
    NA
}

sumna_user10488504_b <- function(x) {
    if(length(na.omit(x))) return(sum(x, na.rm = TRUE))
    NA
}

sumna_user10488504_c <- function(x) {
    ret <- sum(x, na.rm = TRUE)
    if(ret == 0 && all(is.na(x))) {NA} else {ret}
}

set.seed(0)
x <- rnorm(99999)

library(microbenchmark)
microbenchmark(sumna_Anti(x),
               sumna_RonakShah(x),
               sumna_akrun(x),
               sumna_user10488504_a(x),
               sumna_user10488504_b(x),
               sumna_user10488504_c(x)
               )

                    expr     min       lq      mean   median       uq      max neval  cld
           sumna_Anti(x) 307.288 310.0280 390.01838 319.2800 410.2040 2056.284   100    d
      sumna_RonakShah(x) 245.251 247.4715 269.40054 253.1650 259.7850  393.495   100  bc 
          sumna_akrun(x) 165.998 167.5005 209.39315 171.8925 190.8330 1768.761   100  b  
 sumna_user10488504_a(x) 221.275 222.6740 315.93037 229.0330 263.6405 1944.602   100   cd
 sumna_user10488504_b(x) 224.614 225.8170 261.77913 231.2305 234.6465 1934.120   100  bc 
 sumna_user10488504_c(x)  83.367  84.2610  86.16793  84.5900  86.4585  119.629   100 a   


x[sample(1:99999, 100)] <- NA
microbenchmark(sumna_Anti(x),
               sumna_RonakShah(x),
               sumna_akrun(x),
               sumna_user10488504_a(x),
               sumna_user10488504_b(x),
               sumna_user10488504_c(x)
               )

                    expr     min       lq      mean   median        uq      max neval  cld
           sumna_Anti(x) 607.367 628.4000 907.53974 634.3195  692.0845 4205.011   100    d
      sumna_RonakShah(x) 246.992 251.1290 273.80595 254.6195  261.4470  455.446   100  b  
          sumna_akrun(x) 167.058 168.5790 196.13280 170.4125  186.2650  373.708   100 ab  
 sumna_user10488504_a(x) 517.615 539.2940 684.20267 543.6295  582.5330 2360.247   100   c 
 sumna_user10488504_b(x) 523.769 544.6195 869.76645 558.0240 1125.6725 3914.266   100    d
 sumna_user10488504_c(x)  84.142  85.2940  89.04266  86.4255   87.4020  207.624   100 a   

x = rep(NA_real_, 99999)
microbenchmark(sumna_Anti(x),
               sumna_RonakShah(x),
               sumna_akrun(x),
               sumna_user10488504_a(x),
               sumna_user10488504_b(x),
               sumna_user10488504_c(x)
               )

           sumna_Anti(x)  243.848  252.3825  308.2693  260.5285  286.8025  2198.275   100  a 
      sumna_RonakShah(x)  242.706  249.3855  287.1426  258.8390  278.5905  1882.114   100  a 
          sumna_akrun(x)  240.459  244.9125  269.2847  255.1230  274.9215   409.886   100  a 
 sumna_user10488504_a(x) 1241.069 1285.3075 1534.1261 1343.7185 1486.4220  3117.453   100  ab
 sumna_user10488504_b(x) 1244.580 1281.9825 2461.2302 1349.9840 1427.9640 97590.279   100   b
 sumna_user10488504_c(x)  320.084  323.1905  353.9885  340.3555  358.7490   478.537   100  a 

【讨论】:

    【解决方案3】:

    你可以删除所有的 NA 并测试长度是否大于 0。

    sumna_a <- function(x) {
        x <- na.omit(x)
        if(length(x)) return(sum(x))
        NA
    }
    
    #or
    sumna_b <- function(x) {
        if(length(na.omit(x))) return(sum(x, na.rm = TRUE))
        NA
    }
    

    我认为在大多数情况下,如果您只使用 sum(x, na.rm = TRUE) 并在之后测试 sum==0(如果只有 NA),那么它应该是有效的:

    sumna_c <- function(x) {
        ret <- sum(x, na.rm = TRUE)
        if(ret == 0 && all(is.na(x))) {NA} else {ret}
    }
    

    【讨论】:

    • 这不是答案,请发这个帖子a wiki post。
    • 对于简单向量,使用x[!is.na(x)] 比使用na.omit() 更快。
    • @MartinMorgan 在我的 PC 和我的 R 版本上 na.omit() 比 x[!is.na(x)] 快
    • 啊;试试y = rep(NA_real_, 1000000)。此外,我还不确定最初的问题是关注一百万个变量,还是几个变量中的每一个都进行一百万次模拟。
    【解决方案4】:

    您还可以根据x 中NA 的数量对值进行子集化

    sumna <- function(x) {
       c(NA, sum(x, na.rm = TRUE))[(sum(is.na(x)) != length(x)) +1]
    }
    
    sumna(c(1:10, NA))
    #[1] 55
    sumna(c(NA, NA, NA))
    #[1] NA
    sumna(1:5)
    #[1] 15
    

    【讨论】:

      【解决方案5】:

      您可以使用colSums。假设您没有全为 0 的列,

      ifelse(colSums(abs(df), na.rm = TRUE) == 0, NA, colSums(df, na.rm = TRUE))
      

      【讨论】:

      • 可以工作。但如果某些数值加起来为 0,我会怀疑使用它。
      猜你喜欢
      • 2022-12-12
      • 2019-07-15
      • 1970-01-01
      • 1970-01-01
      • 2022-01-12
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多