不等式条件的滚动和答案

【问题标题】：Rolling sum with inequality conditionals不等式条件的滚动和
【发布时间】：2019-12-27 21:41:08
【问题描述】：

我正在处理来自多家公司的一些历史财务数据。

我的 data.frames/tables 具有以下形式：

library(data.table)

dt <- data.table(company = rep(1:2, each = 9),
                 period = c(1, 2, 2, 2, 3, 3, 4, 5, 6), # recycled
                 result = c(1, 2, 3, 4, 5, 6, 7, 8, 9), # recycled
                 filingDate = as.Date(c('2000-01-01', # 1 1
                                        '2000-02-01', # 2 2
                                        '2000-02-02', # 2 3
                                        '2000-03-02', # 2 4
                                        '2000-03-01', # 3 5
                                        '2000-03-02', # 3 6
                                        '2000-04-01', # 4 7
                                        '2000-05-01', # 5 8
                                        '2000-06-01', # 6 9
                                        # company 2
                                        '2000-03-01', # 1 1
                                        '2000-04-01', # 2 2
                                        '2000-04-02', # 2 3
                                        '2000-05-02', # 2 4
                                        '2000-05-01', # 3 5
                                        '2000-06-02', # 3 6
                                        '2000-06-01', # 4 7
                                        '2000-07-01', # 5 8
                                        '2000-08-01'))) # 6 9
dt
#>     company period result filingDate
#>  1:       1      1      1 2000-01-01
#>  2:       1      2      2 2000-02-01
#>  3:       1      2      3 2000-02-02
#>  4:       1      2      4 2000-03-02
#>  5:       1      3      5 2000-03-01
#>  6:       1      3      6 2000-03-02
#>  7:       1      4      7 2000-04-01
#>  8:       1      5      8 2000-05-01
#>  9:       1      6      9 2000-06-01
#> 10:       2      1      1 2000-03-01
#> 11:       2      2      2 2000-04-01
#> 12:       2      2      3 2000-04-02
#> 13:       2      2      4 2000-05-02
#> 14:       2      3      5 2000-05-01
#> 15:       2      3      6 2000-06-02
#> 16:       2      4      7 2000-06-01
#> 17:       2      5      8 2000-07-01
#> 18:       2      6      9 2000-08-01

^{由reprex package (v0.3.0) 于 2019 年 12 月 26 日创建}

所以我这里有两家不同公司在 6 个时期（即季度）报告的结果。但是，公司有时会注意到他们报告了错误，在这种情况下，他们会重述。在此示例中，公司必须对第 2 期进行两次重述（总共 3 份报告），对第 3 期进行一次重述。

每个报告/重述的提交日期显示在filingDate。

现在，我想计算每个公司在一段时间内的两个（或多个）期间的已知滚动总和。

如果我们每个期间只有一个文件，那么使用dt[, rSum = frollsum(result, 2), by = company] 可以轻松实现。

但是，由于我们可以在每个期间提交多个申请，因此我们需要将这些筛选到“当前日期”已知的最近一次申请，因为我们可以在后续期间已经提交之后重述期间。一个例子是公司 1 在 2000 年 3 月 2 日的第 2 期重述，在 2000 年 3 月 1 日第 3 期提交之后。

所以，预期的输出是：

#>     company period rSum filingDate
#>  1:       1      1    1 2000-01-01
#>  2:       1      2    3 2000-02-01  # 2 + 1
#>  3:       1      2    4 2000-02-02  # 3 + 1
#>  4:       1      2    5 2000-03-02  # 4 + 1 (optional row, see below)
#>  5:       1      3    8 2000-03-01  # 5 + 3
#>  6:       1      3   10 2000-03-02  # 6 + 4
#>  7:       1      4   13 2000-04-01  # 7 + 6
#>  8:       1      5   15 2000-05-01  # 8 + 7
#>  9:       1      6   17 2000-06-01  # 9 + 8
#> 10:       2      1    1 2000-03-01 
#> 11:       2      2    3 2000-04-01  # 2 + 1
#> 12:       2      2    4 2000-04-02  # 3 + 1
#> 13:       2      3    8 2000-05-01  # 5 + 3
#> 14:       2      3    9 2000-05-02  # 5 + 4
#> 15:       2      4   12 2000-06-01  # 7 + 5
#> 16:       2      4   13 2000-06-02  # 7 + 6
#> 17:       2      5   15 2000-07-01  # 8 + 7
#> 18:       2      6   17 2000-08-01  # 9 + 8

这里有一些细微差别应该明确说明。

查看输入表dt 的第 4 行和第 6 行，我们看到公司 1 在 2000 年 3 月 2 日对第 2 和第 3 期进行了两次重述。由于我们有第 3 期的结果，我们不再在第 2 阶段，因此相关的“最新”rSum 是第 3 阶段的。这就是为什么上面的预期输出表明第 4 行是可选的：我真的只关心第 6 行上的 rSum，但任何包含第 4 行上的虚拟结果的解决方案也非常好。

更复杂的是输入第 15 行和预期输出第 16 行发生的情况：公司 2 在 2000 年 6 月 2 日重述了第 3 期的结果。但是，到那时我们已经有了第 4 阶段的结果（在 2000-06-01 给出）。因此，再一次，那个日期的“最新”rSum 实际上在周期 3 和周期 4 (6 + 7 = 13) 之间，并且应该与最近的周期 4 相关联，而不是 3。

我看不出如何优雅地做到这一点。我能想到的就是获取所有独特的提交日期并通过它们进行for循环，以便获得前几个时期的最新结果。请注意，这甚至不能满足上面的第二个细微差别，因为 2000-06-02 的结果与周期 3 相关联。

r <- c()
for(comp in unique(dt$company)) {
  x <- dt[company == comp]
  for(d in x[, sort(unique(filingDate))]) {
    y <- tail(x[filingDate <= d,
                .SD[filingDate == max(filingDate)],
                by = .(company, period)], 2)
    r <- c(r, sum(y$result))
  }
}

x <- dt[, .SD[period == max(period)],
        by = .(company, filingDate)]
setorder(x, company, filingDate, period)
x[, rSum := r]
setorder(x, company, period, filingDate)
x
#>     company filingDate period result rSum
#>  1:       1 2000-01-01      1      1    1
#>  2:       1 2000-02-01      2      2    3
#>  3:       1 2000-02-02      2      3    4
#>  4:       1 2000-03-01      3      5    8
#>  5:       1 2000-03-02      3      6   10
#>  6:       1 2000-04-01      4      7   13
#>  7:       1 2000-05-01      5      8   15
#>  8:       1 2000-06-01      6      9   17
#>  9:       2 2000-03-01      1      1    1
#> 10:       2 2000-04-01      2      2    3
#> 11:       2 2000-04-02      2      3    4
#> 12:       2 2000-05-02      2      4    9
#> 13:       2 2000-05-01      3      5    8
#> 14:       2 2000-06-02      3      6   13  # should be Period 4
#> 15:       2 2000-06-01      4      7   12
#> 16:       2 2000-07-01      5      8   15
#> 17:       2 2000-08-01      6      9   17

不过，这感觉很不规范，那么有没有更惯用的方法呢？

【问题讨论】：

我无法理解这个问题，您是否每个公司每个时期都有多个结果？
@Bruno 不，每家公司只有一个结果。但是，他们可能会说“我们的第 2 阶段结果是 2”，然后说“哦，等等，我们的错误！第 2 阶段的结果实际上是 3”。所以我最初需要用 2 计算滚动总和，但是当我得到更正的结果时用 3。这是试图模拟我在任何一天所拥有的知识。
@IceCreamToucan 一个问题是我的真实案例需要在 N 个周期内进行滚动求和，仅以 2 为例。我已经编辑了问题以使其更清楚。
我认为您可能需要根据样本数据集检查您的预期输出，因为有些行丢失并且有些行不一样
我只是不明白为什么您需要保留实际错误的数据，只保留每个公司期间最旧的实例

标签： r sum

【解决方案1】：

一个选项是使用非等连接：

winsz <- 2L
dt[, c("start", "end") := .(period - winsz + 1L, period)] 

dt[, rSum :=
    dt[dt, on=.(company, end>=start, end<=end),
        by=.EACHI, i.result +
            #filter right table for rows with periods before current period and filingDate before current filingDate 
            #and select the latest result for each period and then sum those result
            sum(.SD[period<i.period & filingDate<=i.filingDate, result[.N], period]$V1)
    ]$V1
]

输出：

    company period result filingDate start end rSum
 1:       1      1      1 2000-01-01     0   1    1
 2:       1      2      2 2000-02-01     1   2    3
 3:       1      2      3 2000-02-02     1   2    4
 4:       1      2      4 2000-03-02     1   2    5
 5:       1      3      5 2000-03-01     2   3    8
 6:       1      3      6 2000-03-02     2   3   10
 7:       1      4      7 2000-04-01     3   4   13
 8:       1      5      8 2000-05-01     4   5   15
 9:       1      6      9 2000-06-01     5   6   17
10:       2      1      1 2000-03-01     0   1    1
11:       2      2      2 2000-04-01     1   2    3
12:       2      2      3 2000-04-02     1   2    4
13:       2      2      4 2000-05-02     1   2    5
14:       2      3      5 2000-05-01     2   3    8
15:       2      3      6 2000-06-02     2   3   10
16:       2      4      7 2000-06-01     3   4   12
17:       2      5      8 2000-07-01     4   5   15
18:       2      6      9 2000-08-01     5   6   17

数据：

library(data.table)
dt <- data.table(company = rep(1:2, each = 9),
    period = c(1, 2, 2, 2, 3, 3, 4, 5, 6),
    result = c(1, 2, 3, 4, 5, 6, 7, 8, 9),
    filingDate = as.Date(c('2000-01-01','2000-02-01','2000-02-02','2000-03-02','2000-03-01','2000-03-02','2000-04-01','2000-05-01','2000-06-01','2000-03-01','2000-04-01','2000-04-02','2000-05-02','2000-05-01','2000-06-02','2000-06-01','2000-07-01','2000-08-01')))
dt[, filingDate := as.IDate(filingDate, format="%Y-%m-%d")]

【讨论】：

我设法得到了类似的结果（使用效率低得多的for 循环），但是在结果的第 15 行可以看到一个问题。这是对公司 2 于 2000 年 6 月 2 日给出的第 3 期业绩的重述。但是，到那时我们已经有了 2000 年 6 月 1 日给出的第 4 阶段的结果。因此，该语句之后的 rSum 实际上应该是 13，来自更正的第 3 期结果和已知的第 4 期结果。
这与为什么我给定的预期输出缺少一行有关：您的第 4 行是对公司 1 的第 2 期结果的重述，但它是在同一天 (2000-03-02)第 3 期重述，因此当天唯一相关的 rSum 是第 3 期。但是，这种省略是可选的，因此包含重复项的解决方案也是完全可以接受的。
如果需要，我们可以删除在下一个周期的最早日期或之后更新的旧周期数据