【问题标题】:How to improve speed of R code by replacing complex and slow plyr steps with data.table or dplyr?如何通过用 data.table 或 dplyr 替换复杂而缓慢的 plyr 步骤来提高 R 代码的速度?
【发布时间】:2015-08-02 04:41:59
【问题描述】:

我一直在通过搜索其他人在 Stackoverflow 上做事的方式来学习 R,因此,我熟悉了 plyr 语法。我有以下四个带有 ddply 的 plyr 调用,它们是我的代码的速率限制步骤。我的数据接近数十万到数百万条记录,而我的代码主要得益于 data.table 并且仅受四个速率限制但关键的 plyr 步骤的限制。我想用 dplyr 或 data.table 替换它们,但我一直在努力复制语法,希望能得到任何帮助。

1. mergeddf3 <- ddply(mergeddf2, .(df.activ.id, channel), summarize, spotsids = paste(mainID, collapse = ","), spotsdt = paste(DateTime, collapse = ","), spotsinfos = paste(cat, collapse = ","), effrespflags = paste(effrespflag, collapse = ","))

2. webuniq_test <- ddply(webuniq, c("df.activ.id"),summarise, strRM = paste(replicate(RMCount, "RM"), collapse = ","))

3. webactiv2 <- ddply(webactiv, .(VisitorID), summarize, VisitorPath = paste(Path, collapse = ","), RMpath = paste(strRM, collapse = ","), ConvTot=sum(Conv), Conv2Tot=sum(Conv2), Cov3Tot=sum(Conv3)) #check that nrow dec

4. MeltForSO3 <- ddply(MeltForSO2, c("VisitorID","ID"),summarise, SplitThis = paste(value, collapse = ","))

对于(1)这里是基准:

#user  system elapsed 
#378.463   3.136 383.786

这是我在这些步骤中想要完成的(它们是相似的):

  1. 它们涉及按 ID 字段或 ID 字段聚合数据
  2. 粒度字符字段的聚合发生在粘贴和 坍塌。例如,一个字段可能是驾驶员下车时的停靠点 关闭“停止”字段的值“a”、“b”、“c”的包 每一站。 Plyr 与stops_path = paste(stops, collapse = ",") 会将这些步骤汇总为“a,b,c”
  3. 数字数据有时会在同一聚合步骤中汇总,例如ConvTot=sum(Conv)

我尝试使用 dplyr 或 data.table 复制此内容均未成功。

在这些类型的聚合中使用其中一种是否有优势?我看过这个,似乎 data.table 可能更适合我非常简单的用例,因为语法更简洁: data.table vs dplyr: can one do something well the other can't or does poorly?

这是我使用 data.table 复制上述 (1) 的失败尝试:

setkey(setDT(mergeddf2),df.activ.id, MarketingChannel)
mergeddf3test <- mergeddf2[, list(spotsids = paste(mainID, collapse = ","), spotsdt = paste(DateTime, collapse = ","), spotsinfos = paste(tvcat, collapse = ","), effrespflags = paste(effrespflag, collapse = ",")), by=list(df.activ.id,Channel)] 

这引发了一个错误:unused argument (by = list(df.activ.id, Channel))我从代码中写道,我研究了关于如何将粘贴合并到 data.table 中的 SO。我拿出了 by 参数只是为了看看会发生什么,并在下面的行中得到另一个错误:

mergeddf3test <- mergeddf2[, list(spotsids = paste(spotID, collapse = ","), spotsdt = paste(DateTime, collapse = ","), spotsinfos = paste(tvcat, collapse = ","), effrespflags = paste(effrespflag, collapse = ","))] 

错误是"Error in paste(spotID, collapse = ",") : object 'spotID' not found",这很奇怪,因为该字段肯定在数据中。我认为这个 data.table 行可以将数据与 by 字段(df.activ.id 和 Channel)正确聚合,并将字符字段与上面的 (a,b,c) 示例结合起来。

很明显,鉴于我正在使用的数据规模,我需要正确学习 dplyr 或 data.table 的语法,因此我已经注册了这两个包的数据营课程。不过,对于如何在短期内解决这个问题,我将不胜感激。

谢谢!

【问题讨论】:

  • 在寻求帮助时,您应该提供reproducible example,其中包含示例输入和所需的输出。如果速度是一个问题,请务必包含您执行的基准测试,以便我们可以比较替代解决方案。此外,最好用文字描述您正在尝试做的事情,而不是仅仅要求将代码从一个包翻译到另一个包。
  • 感谢您的评论。你是对的,我没有提供可重复的样本(我通常这样做)。我没有,因为我认为这是不必要的,因为我只是想弄清楚如何将 paste 和 sum 与另一个包一起使用。我确实认为我在用文字解释我尝试做的事情并为我不成功的尝试提供代码方面做得很好。我将使用基准更新帖子。
  • 数据营课程是一个很好的起点。如果没有可重现的示例,我最好的猜测是:出于某种原因,setDT 实际上并未设置为 data.table。您可以与str(mergeddf2) 联系。我无法想象没有找到by 和spotID 之类的列名的任何其他原因。就个人而言,我认为您的问题中“这是我的尝试”之前的所有内容都可以解决 - 您应该坚持本网站上的单个编程问题,因为这最适合问答格式。

标签: r performance data.table plyr dplyr


【解决方案1】:

您使用data.table 进行的复制对我有用(除了那个频道是大写的)。以下是我尝试使用dplyr 和data.table 复制列表的第一步。

# required packages
require(plyr)
require(dplyr)
require(data.table)

样本数据

mergeddf2 <- data.frame(df.activ.id = 1:5, 
                        channel = 1:8, 
                        mainID = 1:40, 
                        DateTime = Sys.Date() - 80:1, 
                        cat = letters[1:6], 
                        effrespflag = rnorm(240), 
                        othervar = 1, 
                        MarketingChannel = 2)

plyr 解决方案

mergeddf3 <- ddply(mergeddf2, .(df.activ.id, channel), summarize, 
                   spotsids = paste(mainID, collapse = ","), 
                   spotsdt = paste(DateTime, collapse = ","), 
                   spotsinfos = paste(cat, collapse = ","), 
                   effrespflags = paste(effrespflag, collapse = ","))

dplyr 解决方案

mergeddf3.dplyr <- 
  mergeddf2 %>% 
  group_by(df.activ.id, channel) %>%
  summarise_each(funs = funs(paste(., collapse = ",")), mainID, DateTime, cat, effrespflag) %>%
  magrittr::set_colnames(c("df.activ.id", "channel", "spotsids", "spotsdt", "spotsinfos", "effrespflags")) 
# check for equality
all.equal(mergeddf3, as.data.frame(mergeddf3.dplyr))
## [1] TRUE

data.table 解决方案

setDT(mergeddf2)
mergeddf3test <- mergeddf2[, list(spotsids = paste(mainID, collapse = ","), 
                                  spotsdt = paste(DateTime, collapse = ","), 
                                  spotsinfos = paste(cat, collapse = ","), 
                                  effrespflags = paste(effrespflag, collapse = ",")),
                           by=list(df.activ.id,channel)] 
# check for equality
all.equal(mergeddf3, setDF(setkeyv(mergeddf3test, c("df.activ.id", "channel"))))
## [1] TRUE

【讨论】:

  • 另一个 data.table 变体可能是 mergeddf2[, lapply(.SD, paste, collapse = ","), by=list(df.activ.id,channel), .SDcols = c("mainID", "DateTime", "cat", "effrespflag")] 尽管您之后仍然需要设置正确的变量名称
  • 感谢您提供详尽的解决方案!在我重新启动 R(沮丧)并自行运行 setDT 步骤后,我最初的 data.table 尝试也对我有用。不知道我在哪里搞砸了?同样,我对包的工作原理缺乏了解可能是我无法让它工作的根本原因。 data.table 解决方案的速度提高了 6 倍,我将尝试使用 dplyr。当我这样做时,我会为这两个包发布基准。
  • 这里是性能基准:plyr(原始代码):383.786data.table 49.922dplyr:40.154
  • 只是想补充一下:我重新运行了 data.table(同一台机器)并获得了更快的时间:# RUN 2: user system elapsed # RUN 2: 40.327 0.359 41.184 我知道为什么。上一步将 data.table 转换为 data.frame,因此我可以将它与 plyr 一起使用。由于我继续使用 data.table,因此我不必使用我认为节省了 9 秒的 setDT 步骤。很想知道那里的代码的内部工作原理!
猜你喜欢
  • 2015-02-17
  • 2021-05-22
  • 1970-01-01
  • 1970-01-01
  • 2020-03-07
  • 2020-12-29
  • 1970-01-01
  • 1970-01-01
  • 2023-03-24
相关资源
最近更新 更多