【问题标题】:How can I efficiently subset for big data.frame objects in the list?如何有效地为列表中的大 data.frame 对象设置子集?
【发布时间】:2017-01-30 01:29:50
【问题描述】:

我在列表中有 data.frame 对象,我将分别根据每个的最后一列(A.K.A,得分)过滤掉。列表的子集对我来说很直观,但我希望有两个不同的集合(即通过/失败)作为过滤每个 data.frame 对象的结果。我认为我使用的方式并不优雅,并为此寻求更好/有效的解决方案。谁能指出我如何为此类任务实现更优雅的解决方案?非常感谢!

玩具数据:

mylist <- list(df1=data.frame( from=seq(1, by=4, len=16), to=seq(3, by=4, len=16), score=sample(30, 16)),
               df2=data.frame( from=seq(3, by=7, len=20), to=seq(6, by=7, len=20), score=sample(30, 20)),
               df3=data.frame( from=seq(4, by=8, len=25), to=seq(7, by=8, len=25), score=sample(30, 25)))

我最初的尝试:

pass <- lapply(mylist, function(ele_) {
  ans <- subset(ele_, ele_$score > 20)
  ans
})

结果我还希望在实例不满足过滤条件的情况下设置相反的集合,并将每个 data.frame 对象的通过、失败设置放入一个列表中。

期望的输出:每个 data.frame 对象可以在子集后设置通过,失败。

如果列表中有非常大的 data.frame 对象,这样做有什么好处?有谁知道对此有用的技巧?

【问题讨论】:

    标签: r list dataframe subset


    【解决方案1】:

    可能是data.table 选项会更有效

    library(data.table)
    lapply(mylist, function(x) setDT(x)[score > 20])
    

    或者使用来自dplyr的filter和来自purrr的map

    library(dplyr)
    library(purrr)
    mylist %>% 
          map(filter, score > 20)
    

    除了上述对每个list元素进行子集化的方法外,我们还可以将rbind数据集合并为单个数据集(rbindlist from data.table or bind_rows from dplyr with an identifier column)并按组划分。

    rbindlist(mylist, idcol= 'grp')[score > 20, .SD , by = .(grp)]
    

    或者dplyr

    mylist %>% 
        bind_rows(., .id = 'grp') %>%
        group_by(grp) %>%
        filter(score > 20)
    

    如果打算将 data.frame 分成 2 的 list(“分数”为 > 20 和

    lapply(mylist, function(x) split(x, c("FAIL", "PASS")[(x$score > 20)+1]))
    

    【讨论】:

    • @Andy.Jian 我不确定我是否正确理解了您的评论。据我了解,问题是关于用更高效的代码替换您的代码。
    • 您的代码肯定是高效的。我编辑了我的评论
    • @Andy.Jian 用split更新了帖子
    • @Andy.Jian 您可以使用setNames 或将logical 向量更改为'FAIL' 和'PASS',方法是将其强制转换为数字索引(加1)然后split(更新了帖子)
    • 完美的答案。非常感谢:)
    猜你喜欢
    • 1970-01-01
    • 2020-01-21
    • 2017-02-16
    • 2011-10-19
    • 2016-01-29
    • 2016-07-26
    • 2023-03-14
    • 1970-01-01
    相关资源
    最近更新 更多