【问题标题】:How I can take mean for different subsets of a specific column in a data.table?如何对 data.table 中特定列的不同子集取平均值?
【发布时间】:2020-05-08 13:50:28
【问题描述】:

给定一个示例数据框:

dt <- data.table(value=1:10,start=c(1,4,5,8,6,3,2,1,9,4),finish=c(3,7,8,9,10,10,4,10,10,8))

我想添加一个名为 mean_column 的新列。此列的第 i 行应具有值

mean( value[ seq( from = start[i], to=finish[i] ) ] )

我正在处理的真实数据有 2000 万行,所以我需要找到一种快速的方法来进行此计算。

编辑:data.table 中的 value 列不需要像示例中那样是有序序列。此列中的每个值都可以是任何正数。

【问题讨论】:

    标签: r dataframe dplyr data.table


    【解决方案1】:

    这是寻找均值这一特定任务的另一种方法。 “mean_column”的值可以计算为(running_sum[finish[i]] - running_sum[start[i] - 1]) / (finish[i] - start[i] + 1):

    cs = cumsum(dt$value)   # cumulative sum
    s = dt$start - 1        # starting indices - 1
    f = dt$finish           # ending indices
    
    # curent sums at all starting indices
    cs.s = s
    i = which(s > 0)
    cs.s[i] = cs[s]
    
    # current sums at all ending indices
    cs.f = cs[f]
    
    # subtract and divide
    (cs.f - cs.s) / (f - s)
    #[1] 2.0 5.5 6.5 8.5 8.0 6.5 3.0 5.5 9.5 6.0
    

    计时码:

    library(data.table)
    set.seed(0L)
    nr <- 1e5L
    dt <- data.table(id=1L:nr, value=1L:nr, start=sample(nr, nr, TRUE), finish=sample(nr, nr, TRUE))
    dt[, c("start", "finish") := .(pmin(start, finish), pmax(start, finish))]
    
    library(Rcpp)
    cppFunction("
    NumericVector rngmean(IntegerVector start, IntegerVector finish, NumericVector value) {
        int sz = value.size();
        int i, j;
        double sum = 0.0;
        NumericVector csum(sz);
        NumericVector res(sz);
    
        csum[0] = value[0];
        for (i=1; i<sz; i++) {
            csum[i] = value[i] + csum[i-1];
        }
    
        for (i=0; i<sz; i++) {
            if (start[i]==1) {
                res[i] = csum[finish[i] - 1];
            } else {
                res[i] = (csum[finish[i] - 1] - csum[start[i] - 2]) / (finish[i] - start[i] + 1);
            }
        }
    
        return(res);
    }
    ")
    
    mtd0 <- function() {
        dt[dt, on=.(id>=start, id<=finish), allow.cartesian=TRUE, by=.EACHI, mean(x.value)]$V1
    }
    
    mtd1 <- function() {
        dt[, {
            cs <- cumsum(as.numeric(value))
            (cs[finish] - cs[start] + value[start]) / (finish - start + 1)
        }]
    }
    
    mtd2 <- function() {
        dt[, rngmean(start, finish, value)]
    }
    
    microbenchmark::microbenchmark(times=1L, mtd0(), mtd1(), mtd2())
    

    时间安排:

    Unit: milliseconds
       expr          min           lq         mean       median           uq          max neval
     mtd0() 17431.150342 17431.150342 17431.150342 17431.150342 17431.150342 17431.150342     1
     mtd1()     4.520483     4.520483     4.520483     4.520483     4.520483     4.520483     1
     mtd2()     2.466647     2.466647     2.466647     2.466647     2.466647     2.466647     1
    

    当nr = 20e6时,

    microbenchmark::microbenchmark(times=1L, mtd1(), mtd2())
    

    时间安排:

    Unit: milliseconds
       expr       min        lq      mean    median        uq       max neval
     mtd1() 1402.2282 1402.2282 1402.2282 1402.2282 1402.2282 1402.2282     1
     mtd2()  711.9264  711.9264  711.9264  711.9264  711.9264  711.9264     1
    

    【讨论】:

    • @chinsoon12 : 感谢您花时间添加基准和改进代码
    【解决方案2】:

    这是一种使用来自 的非 equi 连接的方法。

    dt <- data.table(value=c(10,1:9),start=c(1,4,5,8,6,3,2,1,9,4),finish=c(3,7,8,9,10,10,4,10,10,8))
    dt[, id := .I]
    
    dt[dt,
       on = .(id >= start,
              id <= finish),
       .(i.id, i.value, mean_col = mean(x.value)),
       by = .EACHI,
       allow.cartesian = T]
    
           id    id  i.id i.value mean_col
        <int> <int> <int>   <num>    <num>
     1:     1     3     1      10 4.333333
     2:     4     7     2       1 4.500000
     3:     5     8     3       2 5.500000
     4:     8     9     4       3 7.500000
     5:     6    10     5       4 7.000000
     6:     3    10     6       5 5.500000
     7:     2     4     7       6 2.000000
     8:     1    10     8       7 5.500000
     9:     9    10     9       8 8.500000
    10:     4     8    10       9 5.000000
    

    在我的计算机上尝试 2,000,000 行需要 4 秒,并提供与 @jay.sf 相同的答案。

    n = 2e6
    dt <- data.table(value = sample(1000L, n, TRUE), start = sample(n, n, TRUE))
    dt[, finish := start + sample(30, n, TRUE)]
    dt[finish > n, finish := n]
    
    system.time({
    dt[, id := .I]
      dt[dt,
         on = .(id >= start,
                id <= finish),
         .(i.id, i.value, mean_col = mean(x.value)),
         by = .EACHI,
         allow.cartesian = T]
    })
    
    ##    user  system elapsed 
    ##   3.78    0.01    3.69 
    
    #jay.sf base approach
    system.time({
      FUNV3 <- Vectorize(function(x, y) x:y)
    dt$mean.column2 <- with(dt, sapply(FUNV3(start, finish), function(x) mean(value[x])))
    })
    
    ##   user  system elapsed 
    ##  24.45    0.04   24.72 
    
    all.equal(dt$mean.column2,   dt[dt,
                                    on = .(id >= start,
                                           id <= finish),
                                    .(i.id, i.value, mean_col = mean(x.value)),
                                    by = .EACHI,
                                    allow.cartesian = T]$mean_col)
    
    ##[1] TRUE
    

    【讨论】:

    • 当我更改值的第一个值时,此 ode 列给出不一致的结果。比如让dt &lt;- data.table(value=c(10,1:9),start=c(1,4,5,8,6,3,2,1,9,4),finish=c(3,7,8,9,10,10,4,10,10,8))
    • 您看到编辑了吗?起初我犯了其他人犯的同样错误,但现在应该是正确的。
    • 您想在解决方案列表中添加 between 吗?
    • @chinsoon12 我不知道如何将between 添加到此,主要是因为我觉得我需要在循环中使用 between 才能为每一行执行此操作。
    • @Cole 我希望你不介意我已将你的解决方案包含在我的benchmark 中。
    【解决方案3】:

    您可以使用apply 方法。 1e6 行大约需要 20 秒。

    dt$mean.column <- apply(dt[2:3], 1, function(x) 
      mean(dt$value[seq(x[1], x[2])]))
    #    value start finish mean.column
    # 1      1     1      3         2.0
    # 2      2     4      7         5.5
    # 3      3     5      8         6.5
    # 4      4     8      9         8.5
    # 5      5     6     10         8.0
    # 6      6     3     10         6.5
    # 7      7     2      4         3.0
    # 8      8     1     10         5.5
    # 9      9     9     10         9.5
    # 10    10     4      8         6.0
    

    如果我们 Vectorize 像这样使用 seq 函数,它会快 30% 左右:

    FUNV <- Vectorize(function(x, y) seq(x, y))
    dt$mean.column2 <- with(dt, sapply(FUNV(start, finish), function(x) mean(value[x])))
    
    stopifnot(all.equal(dt$mean.column, dt$mean.column2))
    

    编辑: FUNV() 实际上可以改进使用比 seq() 更快的东西,例如 seq.int 或 :。

    FUNV2 <- Vectorize(function(x, y) seq.int(x, y))
    FUNV3 <- Vectorize(function(x, y) x:y)
    

    微基准测试来了:

    microbenchmark::microbenchmark(
      apply=apply(df.L[2:3], 1, function(x) mean(df.L$value[seq(x[1], x[2])])),
      FUNV=with(df.L, sapply(FUNV(start, finish), function(x) mean(value[x]))),
      FUNV2=with(df.L, sapply(FUNV2(start, finish), function(x) mean(value[x]))),
      FUNV3=with(df.L, sapply(FUNV3(start, finish), function(x) mean(value[x]))),
      data.table={      ## see Cole's answer
        dt.L[, id := .I]
        dt.L[dt.L, on=.(id >= start, id <= finish), .(i.id, i.value, mean_col=mean(x.value)),
           by=.EACHI, allow.cartesian=T]},
      times=3L)
    # Unit: seconds
    #       expr       min        lq      mean    median       uq       max neval cld  
    #      apply 26.736665 26.740363 28.701785 26.744062 29.68435 32.624629     3   c
    #       FUNV 24.983665 26.513645 28.007959 28.043625 29.52011 30.996587     3   c
    #      FUNV2 15.371551 16.031383 16.848238 16.691215 17.58658 18.481949     3  b 
    #      FUNV3 14.156043 14.266123 14.436663 14.376203 14.57697 14.777744     3  b 
    # data.table  2.138956  2.323735  2.426432  2.508515  2.57017  2.631825     3 a  
    

    测试日期:

    library(data.table)
    dt <- data.table(value=c(10, 1:9), start=c(1, 4, 5, 8, 6, 3, 2, 1, 9, 4), 
                     finish=c(3, 7, 8, 9, 10, 10, 4, 10, 10, 8))
    df <- as.data.frame(df)
    set.seed(42)
    df.L <- df[sample(1:nrow(df), 1e6, replace=TRUE), ]
    dt.L <- dt[sample(1:nrow(dt), 1e6, replace=TRUE), ]
    

    【讨论】:

    • 为什么不只是dt$mean.column &lt;- apply(dt[,2:3], 1, mean)?
    • @ChrisRuehlemann,值列不需要像示例中那样按顺序排列。
    • 这在我的电脑上需要 5 分钟。
    • @serdaryurek 尝试使用: 的FUNV3,查看编辑,或Cole 的data.table 方法似乎很快。
    【解决方案4】:

    这是一个基本的 R 解决方案。

    你可以定义你的自定义函数f,然后使用apply()

    f <- function(v,s,d) mean(v[s:d])
    val_vector <- dt$value
    dt$mean <- apply(dt, 1, function(v) f(val_vector,v["start"],v["finish"]))
    

    这样

    > dt
       value start finish mean
    1      1     1      3  2.0
    2      2     4      7  5.5
    3      3     5      8  6.5
    4      4     8      9  8.5
    5      5     6     10  8.0
    6      6     3     10  6.5
    7      7     2      4  3.0
    8      8     1     10  5.5
    9      9     9     10  9.5
    10    10     4      8  6.0
    

    【讨论】:

    • 获得稍微提高性能的一种简单方法是提前提取价值。即:val_vector = dt[["value"]] 并将该向量传递给函数。
    • @Cole 是的,这提高了性能,但也许 OP 想要更多
    【解决方案5】:

    这对你有用吗?

    library(tidyverse)
    dt <- data.table(value=1:10, 
                 start = c(1,4,5,8,6,3,2,1,9,4), 
                 finish = c(3,7,8,9,10,10,4,10,10,8))
    dt %>% mutate(mean = (finish + start)/2)
    

    【讨论】:

      猜你喜欢
      • 2021-12-05
      • 1970-01-01
      • 2014-08-09
      • 1970-01-01
      • 2017-10-04
      • 2021-08-21
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多