【问题标题】：Emulate the window function of SQL in R在R中模拟SQL的窗口函数
【发布时间】：2015-08-18 21:58:39
【问题描述】：

我有一张如下表：

id   name  amount  year
001  A     10      2010
001  A     10      2011
001  A     12      2012
-----------------------
002  A     3       2012
002  A     4       2013
-----------------------
003  B     20      2011
003  B     20      2012

（注意两个实体名称相同 A 但它们不同，id 是唯一标识符。）

我想计算amount 与上一年相比的增量，即结果应如下所示：

id   name   increment   year
001  A      0           2010
001  A      0           2011
001  A      2           2012
----------------------------
002  A      0           2012
002  A      1           2013
----------------------------
003  B      0           2011
003  B      0           2012

注意，第一年的增量被认为是“0”。

在MSSQL中，可以通过以下方式实现：

SELECT id,
       name,
       amount - LAG(amount, 1, amount) OVER (PARTITION BY id ORDER BY YEAR) as increment,
       year
FROM table

我正在尝试使用 data.table 完成 R 中的任务。我找到了一个简洁的例子here:
DT[, increment := amount - shift(amount, 1), by=id]。但是提示错误：could not find function "shift"。

版本是：

R：3.2.0_1
data.table: 1.9.4

问题是：

在data.table的Github上找到了shift函数，为什么调用失败？
我认为data.table中的by相当于SQL中的PARTITION BY，那么R中ORDER BY的对应物是什么？在进行任何聚合之前是否必须设置 data.table 的键，以便对 data.table 进行排序？

【问题讨论】：

DT[, increment := c(0L, diff(amount)), by = id]。如果你想使用shift你需要从GH安装开发版本，见here
使用shift，会类似于DT[, increment := amount - shift(amount, 1L, fill = amount[1L]), by = id]
用五种不同的方法查看这个问题stackoverflow.com/questions/30579699/…
@plafort 这个链接有什么关系？
是的，需要对年份进行排序以确保上一个条目与上一个年份相对应。如果您升级以获得 shift 功能，这样的事情应该可以工作：DT[order(year), increment := amount - shift(amount, 1), by=id] 这与您发布的代码几乎相同。如果您不升级（例如，我不能上班），David 在第一条评论中的回答也应该适用于插入的 order。

标签： r data.table

【解决方案1】：

这种情况属于通过单独的分组列对列进行操作的一般结构。

fun <- function(v) c(0, diff(v)) #to take the difference and account for the starting value

#function tapply()
df1 <- df
df1$amount <- unlist(with(df, by(amount, id, fun)))
df1
   id name amount year
1 001    A      0 2010
2 001    A      0 2011
3 001    A      2 2012
4 002    A      0 2012
5 002    A      1 2013
6 003    B      0 2011
7 003    B      0 2012

#using data.table
df2 <- df
setDT(df2)[, list(name, Increment = fun(amount), year), by = id]
    id name Increment year
1: 001    A         0 2010
2: 001    A         0 2011
3: 001    A         2 2012
4: 002    A         0 2012
5: 002    A         1 2013
6: 003    B         0 2011
7: 003    B         0 2012

#function: by()
df3 <- df
df3$amount <- unlist(with(df3, by(amount, id, fun)))
df3
   id name amount year
1 001    A      0 2010
2 001    A      0 2011
3 001    A      2 2012
4 002    A      0 2012
5 002    A      1 2013
6 003    B      0 2011
7 003    B      0 2012

#using dplyr with data.table
DT %>%
  group_by(id) %>%
  summarise(name, increment = fun(amount), year)
Source: local data table [7 x 4]

   id name increment year
1 001    A         0 2010
2 001    A         0 2011
3 001    A         2 2012
4 002    A         0 2012
5 002    A         1 2013
6 003    B         0 2011
7 003    B         0 2012

#using aggregate
df5$amount <- unlist(aggregate(amount ~ id, data=df5, FUN=fun)$amount)
df5
   id name amount year
1 001    A      0 2010
2 001    A      0 2011
3 001    A      2 2012
4 002    A      0 2012
5 002    A      1 2013
6 003    B      0 2011
7 003    B      0 2012

#function: ave
df6 <- df
df6$amount <- with(df, ave(amount, id, FUN-fun))
df6
   id name amount year
1 001    A      0 2010
2 001    A      0 2011
3 001    A      2 2012
4 002    A      0 2012
5 002    A      1 2013
6 003    B      0 2011
7 003    B      0 2012

#dplyr (non-data.table)
df7 <- df
df %>%
  group_by(id) %>%
  mutate(increment = fun(amount))
   id name amount year increment
1 001    A     10 2010         0
2 001    A     10 2011         0
3 001    A     12 2012         2
4 002    A      3 2012         0
5 002    A      4 2013         1
6 003    B     20 2011         0
7 003    B     20 2012         0

#dplyr (with extra command 'select' to give the desired output of the OP)
df %>%
   group_by(id) %>%
     mutate(increment = fun(amount)) %>%
       select(id, name, increment, year)
Source: local data frame [7 x 4]
Groups: id

   id name increment year
1 001    A         0 2010
2 001    A         0 2011
3 001    A         2 2012
4 002    A         0 2012
5 002    A         1 2013
6 003    B         0 2011
7 003    B         0 2012

数据

df <- data.frame(id=factor(c('001', '001', '001', '002', '002', '003', '003')), 
                 name=c(rep('A', 5), rep('B', 2)),
                 amount=c(10,10,12,3,4,20,20),
                 year=c(2010, 2011, 2012, 2012, 2013, 2011, 2012)
)

【讨论】：