R：聚合多个变量和观察值（取决于值）并创建一个新变量

Question

数据集具有如下结构

    Key         Date         Mat    Amount
     <int>     <date>       <chr>  <dbl>
1  1001056    2014-12-12    10025  0.10
2  1001056    2014-12-23    10025  0.20
3  1001056    2015-01-08    10025  0.10
4  1001056    2015-04-07    10025  0.20
5  1001056    2015-05-08    10025  0.20
6  1001076    2013-10-29    10026  3.00
7  1001140    2013-01-18    10026  0.72
8  1001140    2013-04-11    10026  2.40
9  1001140    2014-10-08    10026  0.24
10 1001237    2015-02-17    10025  2.40
11 1001237    2015-02-17    10026  3.40

Mat 采用 {10001,...,11000} 中的值，因此 A:=|Mat|=1000。

我想实现以下目标：

1）（中间步骤）对于每个关键日期组合，我想计算所有材料，这些材料在这种组合中可用（可能因钥匙而异），数量差异， 例如对于组合“1001237 2015-02-17”，这将适用于材料 10025 和 10026 2.40-3.40=-1（但可能是更多组合）。 （如何有效地存储这些值？） 这一步可能会被跳过。

2) 最后，我想构建一个维度为 A=1000 的新矩阵，其中每个条目 (i,j)（材料组合 i 和 j）包含上一步中计算的值的平均值。 更正式地说，条目 (i,j) 由

1/|所有包含 Mat i 和 Mat j 的关键日期组合| \sum_{所有包含 Mat i 和 Mat j 的关键日期组合} Amount_i - Amount_j

由于表相当大，计算效率很重要。

非常感谢您提前提供的帮助！

Answer 1

我可以使用tidyverse 中的列表列来做到这一点；诀窍是使用group_by 来获得Key 和Date 的不同组合。代码如下：

materials <- unique(x$Mat)
n <- length(materials)

x <- x %>% 
  group_by(Key, Date) %>% 
  nest() %>% 
  # Create a n by n matrix for each combination of Key and Date
  mutate(matrices = lapply(data, 
                       function(y) {
                         out <- matrix(nrow = n, ncol = n, 
                                       dimnames = list(materials, materials))
                         # Only fill in when the pair of materials is present
                         # for the date of interest
                         mat_present <- as.character(unique(y$Mat))
                         for (i in mat_present) {
                           for (j in mat_present) {
                             # You may want to take an absolute value
                             out[i,j] <- y$Amount[y$Mat == i] - y$Amount[y$Mat == j]
                           }
                         }
                         out
                       }))

如果你真的想要速度，你可以用Rcpp实现lapply中的功能。您可以使用RcppParallel 进一步加快速度。现在数据框的一列是矩阵列表。然后，对于矩阵的每个元素，取平均值，同时忽略NAs：

x_arr <- array(unlist(x$matrices), dim = c(2,2,10))
results <- apply(x_arr, 2, rowMeans, na.rm = TRUE)

我将矩阵列表堆叠成一个 3D 数组，发现行意味着逐个切片。对于性能，您也可以在RcppArmadillo 和sum(x_arr, 2) 中执行此操作，但是当并非所有类型的材料都以Key 和Date 的组合表示时，很难处理缺失值。