R：使用条件和行、列索引对列求和答案

【问题标题】：R: sum columns using conditionals and row, column indexesR：使用条件和行、列索引对列求和
【发布时间】：2021-12-29 14:34:51
【问题描述】：

我有一个数据框，其中有很多很多 NA 值散布在感兴趣的列之间。这是一个示例：

dput(try[, 30:34])
structure(list(adj_avg_2016 = c(25641966.4, 28919805, 44152549.8, 
4341304.9, 10588244.8, 4928398.6, 8985362.4, 832000, 2674875.2, 
20416846.8), adj_avg_2017 = c(27693728, 29815155, 46187854.8, 
4594589.9, 11021124.8, 5075010, 9436240.8, 848640, 2782821.6, 
21439365.4), adj_avg_2018 = c(31554678.4, 30710505, 45952664, 
NA, NA, NA, NA, 865920, 2894427.2, 21556703.6), adj_avg_2019 = c(33454832, 
31605855, 45590832, NA, 12319764.8, NA, NA, 900480, NA, 
21556703.6), adj_avg_2020 = c(35122520, 32501205, 46495412, NA, 
NA, NA, NA, NA, 3130445.6, 22520553.1)), class = "data.frame", row.names = c(NA, 
10L))

我想做的是根据使用列索引的条件对数据框try 中的每一列求和。

更具体地说，我想查看上一年的列并仅使用当前和上一年列中非 NA 的元素求和。例如

对于 col adj_avg_2016，我想对所有元素求和，因为它是组中的第一列
对于 col adj_avg_2017，我想对所有元素求和 因为其中或 adj_avg_2016 列中没有 NA 值。
对于 col adj_avg_2018，我只想使用 adj_avg_2017 或 adj_avg_2018 中不是 NA 的对应条目求和（因此条目 1:3、8： 10)
对于 col adj_avg_2019，我想使用条目 1:3、8 和 10 求和 因为 adj_avg_2018 中的条目 5 是 NA，adj_avg_2019 中的条目 9 是 NA
对于 col adj_avg_2020，我想仅使用条目 1:3 和 10 求和，因为 adj_avg_2019 中的条目 9 为空。

我想要的结果是每一年的列，agg_pass1_2016...agg_pass1_2020 包含指定的计算。

由于数据框每年都会继续增长，而且我会经常这样做，因此函数似乎是要走的路。到目前为止，这是我想出的：

str <- function(df, overwrite = TRUE){
    nms <- grep("adj_avg_[0-9]+$", names(df), value = TRUE) # get the columns
    nms_col_idx <- grep("adj_avg_[0-9]+$", names(df), value = FALSE) # get the column indexes
    revnms <- gsub("adj_avg", "agg_pass1", nms) # names of new columns I want to add
    if(!overwrite) revnms <- setdiff(revnms, names(df))
    df[, revnms] <- lapply(df[, nms], sum, ....) # This is where I get confused.
}

我的问题/疑问：

在上述函数中将行和列索引合并到df[, revnms] 中以实现所需计算的最佳方法是什么？我知道一种方法会涉及which(!is.na(.)) 的某种组合，但我不确定如何将其放入最后一行的函数中。
还有其他函数可以像函数一样快速简单地实现我的结果吗？

欢迎所有 cmets/建议。非常感谢。

【问题讨论】：

这不就是colSums(try, na.rm = TRUE)
至少在您的示例中，似乎可以连续引入 NA 值，但它们永远不会消失，因此 akrun 的建议看起来会很好。如果您的真实数据不是这种情况，我建议您编辑您的问题以提供更真实的示例。
@akrun 我已经更新了样本数据以更好地反映我想要的结果。谢谢指出
基于这个逻辑elements that are non-NA in both the current and previous year column.最后一个应该是1-3和10？因为 9 在 adj_avg_2019 中是 NA？

标签： r dataframe indexing sum

【解决方案1】：

根据逻辑，我们可能需要将没有第一列和最后一列的数据子集创建的逻辑矩阵相乘，得到colSums

colSums(cbind(try[1], try[-1] * (!is.na(try[-1]) & 
         !is.na(try[-ncol(try)]))), na.rm = TRUE)

-输出

adj_avg_2016 adj_avg_2017 adj_avg_2018 adj_avg_2019 adj_avg_2020 
   151481354    158894530    133534898    133108703    136639690

或者使用tidyverse

library(dplyr)
library(stringr)
try %>%
    summarise(across(everything(),
     ~ if(cur_column() == 'adj_avg_2016') sum(., na.rm = TRUE) 
     else sum(.x[!is.na(.x) &  
      !is.na(get(str_replace(cur_column(), "(\\d+)$",
       function(x) as.numeric(x) - 1)))])))
  adj_avg_2016 adj_avg_2017 adj_avg_2018 adj_avg_2019 adj_avg_2020
1    151481354    158894530    133534898    133108703    136639690

如果我们要创建新列，请使用mutate 而不是summarise，同时使用.names

try %>%
    mutate(across(everything(),
     ~ if(cur_column() == 'adj_avg_2016') sum(., na.rm = TRUE) 
     else sum(.x[!is.na(.x) &  
      !is.na(get(str_replace(cur_column(), "(\\d+)$",
       function(x) as.numeric(x) - 1)))]), 
      .names = "{str_replace(.col, 'avg', 'pass')}"))

-输出

   adj_avg_2016 adj_avg_2017 adj_avg_2018 adj_avg_2019 adj_avg_2020 adj_pass_2016 adj_pass_2017 adj_pass_2018 adj_pass_2019 adj_pass_2020
1      25641966     27693728     31554678     33454832     35122520     151481354     158894530     133534898     133108703     136639690
2      28919805     29815155     30710505     31605855     32501205     151481354     158894530     133534898     133108703     136639690
3      44152550     46187855     45952664     45590832     46495412     151481354     158894530     133534898     133108703     136639690
4       4341305      4594590           NA           NA           NA     151481354     158894530     133534898     133108703     136639690
5      10588245     11021125           NA     12319765           NA     151481354     158894530     133534898     133108703     136639690
6       4928399      5075010           NA           NA           NA     151481354     158894530     133534898     133108703     136639690
7       8985362      9436241           NA           NA           NA     151481354     158894530     133534898     133108703     136639690
8        832000       848640       865920       900480           NA     151481354     158894530     133534898     133108703     136639690
9       2674875      2782822      2894427           NA      3130446     151481354     158894530     133534898     133108703     136639690
10     20416847     21439365     21556704     21556704     22520553     151481354     158894530     133534898     133108703     136639690

【讨论】：

是的，计算是正确的，我只是不确定如何将其放入我的函数中，因为我需要能够为每年创建变量 agg_pass1_[0-9]+$。
@jvalenti 在第一个解决方案中，它假定列是按顺序排列的。因此，当我们执行try[-1] 时，它会删除第一列和try[-ncol(try)]，最后一列以使列滞后/超前并使它们具有相同的尺寸。使用&，它将对上一个对应列进行比较。使用tidyverse，实际上是使用cur_column() 获取列名，因此您不必像我们在as.numeric(x) -1 中那样担心列名顺序。
@jvalenti 您是否正在使用总和创建新列。在 ech 列上，即将 'avg' 更改为 'pass'，那么您可能需要 mutate 而不是 summarise 并使用 .names 即 .names = "{str_replace(.col, 'avg', 'pass')}"
@jvalenti 这些是across 中的参数。如果您查看文档，则使用 across(.cols = everything(), .fns = NULL, ..., .names = NULL) - .names - A glue specification that describes how to name the output columns. This can use {.col} to stand for the selected column name, and {.fn} to stand for the name of the function being applied. The default (NULL) is equivalent to "{.col}" for the single function case and "{.col}_{.fn}" for the case where a list is used for .fns.
@jvalenti 我们将子字符串更改为str_replace 即.. (\\d+)$ 指的是字符串末尾的一位或多位数字 ($) 被捕获并替换为减去 1 @ 987654348@