使用 dplyr 和 data.table 的组差异答案

【问题标题】：Difference by Group using dplyr and data.table使用 dplyr 和 data.table 的组差异
【发布时间】：2017-04-26 06:53:44
【问题描述】：

我想按组计算差异。虽然我在 SO 上提到了R: Function “diff” over various groups 线程，但由于未知原因，我无法找到区别。我尝试了三种方法：a) spread b) dplyr::mutate 和 base::diff() c) data.table 和 base::diff()。虽然 a) 有效，但我不确定如何使用 b) 和 c) 解决这个问题。

数据说明： 我有该产品的年收入数据。我将 >= 2013 年归类为周期 2（称为 P2），将年份 P1）。

样本数据：

dput(Test_File)
structure(list(Ship_Date = c(2010, 2010, 2012, 2012, 2012, 2012, 
2017, 2017, 2017, 2016, 2016, 2016, 2011, 2017), Name = c("Apple", 
"Apple", "Banana", "Banana", "Banana", "Banana", "Apple", "Apple", 
"Apple", "Banana", "Banana", "Banana", "Mango", "Pineapple"), 
    Revenue = c(5, 10, 13, 14, 15, 16, 25, 25, 25, 1, 2, 4, 5, 
    7)), .Names = c("Ship_Date", "Name", "Revenue"), row.names = c(NA, 
14L), class = "data.frame")

预期输出

dput(Diff_Table)
structure(list(Name = c("Apple", "Banana", "Mango", "Pineapple"
), P1 = c(15, 58, 5, NA), P2 = c(75, 7, NA, 7), Diff = c(60, 
-51, NA, NA)), .Names = c("Name", "P1", "P2", "Diff"), class = "data.frame", row.names = c(NA, 
-4L))

这是我的代码：

方法一：使用spread [有效]

data.table::setDT(Test_File)
cutoff<-2013
Test_File[Test_File$Ship_Date>=cutoff,"Ship_Period"]<-"P2"
Test_File[Test_File$Ship_Date<cutoff,"Ship_Period"]<-"P1"

Diff_Table<- Test_File %>%
  dplyr::group_by(Ship_Period,Name) %>%
  dplyr::mutate(Revenue = sum(Revenue)) %>%
  dplyr::select(Ship_Period, Name,Revenue) %>%
  dplyr::ungroup() %>%
  dplyr::distinct() %>%
  tidyr::spread(key = Ship_Period,value = Revenue) %>% 
  dplyr::mutate(Diff = `P2` - `P1`)

方法2：使用dplyr [不起作用：在Diff 列中生成NA。]

Diff_Table<- Test_File %>%
  dplyr::group_by(Ship_Period,Name) %>%
  dplyr::mutate(Revenue = sum(Revenue)) %>%
  dplyr::select(Ship_Period, Name,Revenue) %>%
  dplyr::ungroup() %>%
  dplyr::distinct() %>%
  dplyr::arrange(Name,Ship_Period, Revenue) %>%
  dplyr::group_by(Ship_Period,Name) %>%
  dplyr::mutate(Diff = diff(Revenue))

方法 3：使用data.table [不起作用：它在Diff 列中生成全零。]

Test_File[,Revenue1 := sum(Revenue),by=c("Ship_Period","Name")]
Diff_Table<-Test_File[,.(Diff = diff(Revenue1)),by=c("Ship_Period","Name")]

问题：有人可以帮我解决上面的方法 2 和方法 3 吗？我对 R 很陌生，所以如果我的工作听起来太基础，我深表歉意。我还在学习这门语言。

【问题讨论】：

对于Pineapple 的P1 的值应该是NA 吗？
是的，如果不存在的话。
这是否意味着接受的答案给出了错误的结果？
@Jogo - 很好的观察！我不会认为 akrun 的答案是错误的，因为 NA-number = NA 和 number - NA = NA。所以，我相信这并不重要。我创建了这些条目以确保当P1 或P2 之一丢失时代码不会崩溃。这有帮助吗？

标签： r data.table dplyr

【解决方案1】：

我们可以通过data.table 做到这一点。将'data.frame'转换为'data.table'（setDT(Test_File)），按'Name'和'Name'的run-length-id分组，得到'Revenue'的sum，重塑为'宽'格式与dcast，获取'P2'和'P1'之间的差异并将（:=）分配给'Diff'

library(data.table)
dcast(setDT(Test_File)[, .(Revenue = sum(Revenue)),
   .(grp=rleid(Name), Name)], Name~ paste0("P", rowid(Name)), 
        value.var = "Revenue")[, Diff := P2 - P1][]
#        Name P1 P2 Diff
#1:     Apple 15 75   60
#2:    Banana 58  7  -51
#3:     Mango  5 NA   NA
#4: Pineapple  7 NA   NA

或者对于第三种情况，即base R，我们根据'Name'中的相邻元素是否相同（'grp'）创建一个分组列，然后aggregate'Revenue' by 'Name ' 和 'grp' 找到 sum，创建一个序列列，reshape 它到 'wide' 和 transform 数据集创建 'Diff' 列

Test_File$grp <- with(Test_File, cumsum(c(TRUE, Name[-1]!=Name[-length(Name)])))
d1 <- aggregate(Revenue~Name +grp, Test_File, sum)
d1$Seq <- with(d1, ave(seq_along(Name), Name, FUN = seq_along))
transform(reshape(d1[-2], idvar = "Name", timevar = "Seq", 
            direction = "wide"), Diff = Revenue.2- Revenue.1)

tidyverse 方法也可以使用

library(dplyr)
library(tidyr)
Test_File %>% 
       group_by(grp = cumsum(c(TRUE, Name[-1]!=Name[-length(Name)])), Name)  %>%
       summarise(Revenue = sum(Revenue)) %>%
       group_by(Name) %>% 
       mutate(Seq = paste0("P", row_number()))  %>% 
       select(-grp) %>% 
       spread(Seq, Revenue) %>% 
       mutate(Diff = P2-P1)
 #Source: local data frame [4 x 4]
 #Groups: Name [4]

#      Name    P1    P2  Diff
#      <chr> <dbl> <dbl> <dbl>
#1     Apple    15    75    60
#2    Banana    58     7   -51
#3     Mango     5    NA    NA
#4 Pineapple     7    NA    NA

更新

基于 OP 的 cmets 仅使用 diff 函数

library(data.table)
setDT(Test_File)[, .(Revenue = sum(Revenue)), .(Name, grp = rleid(Name))
  ][, .(P1 = Revenue[1L], P2 = Revenue[2L], Diff = diff(Revenue)) , Name]
#        Name P1 P2 Diff
#1:     Apple 15 75   60
#2:    Banana 58  7  -51
#3:     Mango  5 NA   NA
#4: Pineapple  7 NA   NA

或者dplyr

Test_File %>% 
   group_by(grp = cumsum(c(TRUE, Name[-1]!=Name[-length(Name)])), Name)  %>%
   summarise(Revenue = sum(Revenue)) %>%
   group_by(Name) %>% 
   summarise(P1 = first(Revenue), P2 = last(Revenue)) %>%
   mutate(Diff = P2-P1)

【讨论】：

感谢您的帮助，阿克伦。你太棒了。我有两个问题：a）您似乎依靠宽格式来计算差异。我很抱歉，但我正在寻找不使用宽格式的解决方案。例如，通过使用diff。现在，更大的问题是这是否可能在不采用宽格式的情况下实现。我会很感激你的想法。 b) 你能在你的代码中解释一下.(grp=rleid(Name), Name)], Name~ paste0("P", rowid(Name)) 吗？对不起，如果这是一个太基本的问题。
@watchtower 您是否正在寻找仅使用 diff 的解决方案？
@akrun...如果可以使用diff 并得出相同的结果，那将扩大我的理解。我最初想用宽格式解决这个问题，但我被我发现的 SO 线程分心了。再次感谢你的帮助。我总是从你的帖子中学到很多东西。
@watchtower 是汇总步骤，未将分组列添加到原始数据中。可以指定by，但一般格式为data.table[i, j, by]
@watchtower 你不需要道歉。我们都是从 0 开始的。关于您的代码，我将使用 summarise 而不是 mutate(Revenue = sum(Revenue)) %>%，这也将有大数据集来处理下一步并使其变慢。经验法则是，如果你正在做任何过滤等，那么作为第一步，然后进行分组和其他过程（但这取决于你想要什么样的输出）

【解决方案2】：

这样就可以了：

library("data.table")
setDT(Test_File)
T <- Test_File[, .(P=sum(Revenue)),by=.(Ship_Date, Name)]
T[Ship_Date>=2013][T[Ship_Date<2013][CJ(Name=T$Name, unique=TRUE), on="Name"], on="Name"][,`:=`(P1=i.P, P2=P, Diff=P-i.P)][] 
#    Ship_Date      Name  P i.Ship_Date i.P P1 P2 Diff
# 1:      2017     Apple 75        2010  15 15 75   60
# 2:      2016    Banana  7        2012  58 58  7  -51
# 3:        NA     Mango NA        2011   5  5 NA   NA
# 4:      2017 Pineapple  7          NA  NA NA  7   NA

或者只有想要的列：

T[Ship_Date>=2013][T[Ship_Date<2013][CJ(Name=T$Name, unique=TRUE), on="Name"], on="Name"][,`:=`(P1=i.P, P2=P, Diff=P-i.P)][,.(Name, P1, P2, Diff)]
#         Name P1 P2 Diff
# 1:     Apple 15 75   60
# 2:    Banana 58  7  -51
# 3:     Mango  5 NA   NA
# 4: Pineapple NA  7   NA

这是一个使用setnames()的变体：

setnames(T[Ship_Date>=2013][T[Ship_Date<2013][CJ(Name=T$Name, unique=TRUE), on="Name"], on="Name"], 
         c("P", "i.P"), c("P2", "P1"))[, Diff:=P2-P1][]

【讨论】：