【问题标题】:R Dplyr Summarize w/ Sum is not counting some rows. Why?R Dplyr Summarize w/ Sum 不计算某些行。为什么?
【发布时间】:2019-03-21 13:42:19
【问题描述】:

我是 stackoverflow 的新手,但对于通过谷歌搜索我的 R 脚本问题并不陌生。这个让我难过。

我正在尝试找出为什么我当前的脚本不起作用:

脚本: 我的示例是 13 列的小标题(称为“Squishframe”)(其中 11 列被视为字符和唯一变量;其中 2 列是数字)。我按字符列分组,并使用汇总(和求和)函数对所有其他数字列求和。这个新的 tibble 被称为“Groupframe”。

主要问题似乎是:

  • 当存在具有唯一变量和数字数据的行时,
  • 与具有相同唯一变量和空白数字数据的另一行共享,
  • 数值数据的行被忽略!

    #Create pipeline that first turns the Squishframe number columns into numeric type, and then groups the data by the Text-based columns
    Groupedframe <- Squishframe %>% 
      mutate_at(vars(AF, Billable), funs(gsub("\\$", "", .))) %>%
      mutate_at(vars(AF, Billable), funs(as.numeric)) %>%
      group_by_at(vars(`File Name`, Source, Date, Colour, Size, MediumSource, Campaign, Version, Signed, CountryCode, State)) %>%
    
    #Summarize all non-text-based columns by groups (sum function used)
     summarize_all(funs(sum))
    

如果您想要我的实时文件的 zip 作为示例,我有,但我不确定现在如何提供。

这与我上面的有点不同,因为它从原始数据文件夹导入,并将最终数据集存放到输出文件夹中。


输入: 上面脚本中名为“Squishframe”的小标题。我也知道其中一些列是空的。这是故意的:

structure(list(`File Name` = c("Bricks.csv", "Bricks.csv", "Bricks.csv", 
"Bricks.csv", "Bricks.csv", "Bricks.csv", "Bricks.csv", "Bricks.csv", 
"Bricks.csv", "Bricks.csv", "Bricks.csv", "Bricks.csv", "Bricks.csv"
), Source = c("Installations", "Installations", "Installations", 
"Installations", "Installations", "Installations", "Installations", 
"Installations", "Installations", "Installations", "Installations", 
"Installations", "Installations"), Date = structure(c(17934, 
17934, 17934, 17934, 17945, 17953, 17956, 17957, 17945, 17945, 
17945, 17945, 17945), class = "Date"), Colour = c(NA, NA, NA, 
NA, NA, NA, NA, NA, NA, NA, NA, NA, NA), Size = c(NA, NA, NA, 
NA, NA, NA, NA, NA, NA, NA, NA, NA, NA), MediumSource = c("Baliest", 
"Baliest", "Baliest", "Baliest", "Baliest", "Baliest", "Baliest", 
"Baliest", "Klimt", "Klimt", "Klimt", "Klimt", "Klimt"), Campaign = c("Big Campaign Baliest", 
"Big Campaign Baliest", "Big Campaign Baliest", "Big Campaign Baliest", 
"Big Campaign Baliest", "Big Campaign Baliest", "Big Campaign Baliest", 
"Big Campaign Baliest", "Big Campaign Klimt", "Big Campaign Klimt", 
"Big Campaign Klimt", "Big Campaign Klimt", "Big Campaign Klimt"
), Version = c("Creative_V2", "Creative_V1", "Creative_V3", "Creative_V2", 
"Creative_V1", "Creative_V3", "Creative_V2", "Creative_V1", "Creative_V1", 
"Creative_V1", "Creative_V1", "Creative_V1", "Creative_V1"), 
    Signed = c("Tigle iOS", "Tigle iOS", "Tigle iOS", "Tigle iOS", 
    "Tigle iOS", "Tigle iOS", "Tigle iOS", "Tigle iOS", "200289", 
    "200289", "200289", "200289", "200289"), CountryCode = c(NA, 
    NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA), State = c(NA, 
    NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA), AF = c(NA, 
    NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA), Billable = c(NA, 
    1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, NA, NA, NA, NA)), row.names = c(NA, 
-13L), class = c("tbl_df", "tbl", "data.frame"))

预期结果:

我的脚本尝试压缩数据。它应该将所有数字数据合并到仅由唯一变量定义的行中。换句话说,如果一行具有唯一变量,则该行应存储所有数字数据,而不是其原始状态,即多行具有相同变量。我应该得到相同的数字列总数,只是行数更少。

我应该在“可计费”列中得到总和为 8 的结果数据框。并且没有重复。

File Name   Source  Date    Colour  Size    MediumSource    Campaign    Version Signed  CountryCode State   AF  Billable
Bricks.csv  Installations   2/7/2019            Baliest Big Campaign Baliest    Creative_V1 Tigle iOS               1
Bricks.csv  Installations   2/7/2019            Baliest Big Campaign Baliest    Creative_V2 Tigle iOS               1
Bricks.csv  Installations   2/7/2019            Baliest Big Campaign Baliest    Creative_V3 Tigle iOS               1
Bricks.csv  Installations   2/18/2019           Baliest Big Campaign Baliest    Creative_V1 Tigle iOS               1
Bricks.csv  Installations   2/18/2019           Klimt   Big Campaign Klimt  Creative_V1 200289              1
Bricks.csv  Installations   2/26/2019           Baliest Big Campaign Baliest    Creative_V3 Tigle iOS               1
Bricks.csv  Installations   3/1/2019            Baliest Big Campaign Baliest    Creative_V2 Tigle iOS               1
Bricks.csv  Installations   3/2/2019            Baliest Big Campaign Baliest    Creative_V1 Tigle iOS               1

当前结果: 在大多数情况下,它是成功的。但是我有一个案例,脚本愉快地总结了所有其他行,忽略了一些。这意味着尽管与另一行共享变量,但某些数字数据会被完全忽略。这会导致数据丢失。我得到的行数更少,但列总数更少。空白出现在“可计费”列中,其中应该有这些唯一变量组合的数据。我不是要删除这些空白,这些空白应该是 1:

File Name   Source  Date    Colour  Size    MediumSource    Campaign    Version Signed  CountryCode State   AF  Billable
Bricks.csv  Installations   2/7/2019            Baliest Big Campaign Baliest    Creative_V1 Tigle iOS               1
Bricks.csv  Installations   2/7/2019            Baliest Big Campaign Baliest    Creative_V2 Tigle iOS               
Bricks.csv  Installations   2/7/2019            Baliest Big Campaign Baliest    Creative_V3 Tigle iOS               1
Bricks.csv  Installations   2/18/2019           Baliest Big Campaign Baliest    Creative_V1 Tigle iOS               1
Bricks.csv  Installations   2/18/2019           Klimt   Big Campaign Klimt  Creative_V1 200289              
Bricks.csv  Installations   2/26/2019           Baliest Big Campaign Baliest    Creative_V3 Tigle iOS               1
Bricks.csv  Installations   3/1/2019            Baliest Big Campaign Baliest    Creative_V2 Tigle iOS               1
Bricks.csv  Installations   3/2/2019            Baliest Big Campaign Baliest    Creative_V1 Tigle iOS               1

在我看来,在这些情况下,将空白+1 相加 = 空白。它应该是 1。当前计费列的总和为 6,而不是如后所述的 8。


感谢大家的宝贵时间!我很感谢对我的脚本和我写这篇文章的方法的任何反馈。如果它可以以任何方式改进,我愿意接受!

【问题讨论】:

  • 欢迎来到 SO。感谢您尝试创建一个示例,但是,这不容易重现。也许创建一些小数据集:df &lt;- data.frame(...) 以最低限度重现您的起点和预期结果。请参阅How to make a great R reproducible example 了解更多指示。
  • 你好 JasonAizkalns!谢谢你的问候。我已经注意到可再现性元素,并编辑了我的输入数据,以便以这种方式使用。我没有看到调整预期结果或当前结果的意义,这些结果在美学上是可以理解的,并且在当前形式下更容易比较。希望这不是一个太固执的想法。 :) 谢谢
  • 感谢您使用dput,但这仍然很难辨别您的目标。话虽如此,以下示例会产生您想要的结果(假设您的数据存储在df &lt;- data.frame())...library(dplyr); distinct(df) %&gt;% filter(! is.na(Billable))
  • 感谢您的回答,但即使这将为我提供的有限集合产生预期结果,我想了解为什么我当前的代码(在我的帖子末尾)不是做这项工作。我想专注于这一点。我不只是试图删除 NA。我打算将它们分组(如果不同)(某些行有 2 个或 3 个或更多!如果非数字变量跨行相同)。为什么不使用 Sum 进行分组和总结?我有数千行它确实适用,但不适用于这些!我编辑了我的帖子以描述我的预期和当前结果。
  • 为了清晰起见,我还对其进行了编辑。将我的脚本提升到顶部,并包含水平中断。

标签: r dplyr sum summarize


【解决方案1】:

Billable 的总和为 8,其中任一实现。由于您已多次编辑该问题,您可能需要考虑删除并提出一个新问题。

library(tidyverse)

res1 <- df %>% 
  mutate_at(vars(AF, Billable), ~ gsub("\\$", "", .)) %>% 
  mutate_at(vars(AF, Billable), ~ as.numeric(.)) %>%
  group_by_at(vars(`File Name`:State)) %>%
  summarize_all(~ sum(., na.rm = TRUE))
res1
#> # A tibble: 8 x 13
#> # Groups:   File Name, Source, Date, Colour, Size, MediumSource, Campaign,
#> #   Version, Signed, CountryCode [8]
#>   `File Name` Source Date       Colour Size  MediumSource Campaign Version
#>   <chr>       <chr>  <date>     <lgl>  <lgl> <chr>        <chr>    <chr>  
#> 1 Bricks.csv  Insta~ 2019-02-07 NA     NA    Baliest      Big Cam~ Creati~
#> 2 Bricks.csv  Insta~ 2019-02-07 NA     NA    Baliest      Big Cam~ Creati~
#> 3 Bricks.csv  Insta~ 2019-02-07 NA     NA    Baliest      Big Cam~ Creati~
#> 4 Bricks.csv  Insta~ 2019-02-18 NA     NA    Baliest      Big Cam~ Creati~
#> 5 Bricks.csv  Insta~ 2019-02-18 NA     NA    Klimt        Big Cam~ Creati~
#> 6 Bricks.csv  Insta~ 2019-02-26 NA     NA    Baliest      Big Cam~ Creati~
#> 7 Bricks.csv  Insta~ 2019-03-01 NA     NA    Baliest      Big Cam~ Creati~
#> 8 Bricks.csv  Insta~ 2019-03-02 NA     NA    Baliest      Big Cam~ Creati~
#> # ... with 5 more variables: Signed <chr>, CountryCode <lgl>, State <lgl>,
#> #   AF <dbl>, Billable <dbl>
sum(res1$Billable) == 8
#> [1] TRUE

res2 <- df %>%
  distinct() %>%
  filter(! is.na(Billable))
res2
#> # A tibble: 8 x 13
#>   `File Name` Source Date       Colour Size  MediumSource Campaign Version
#>   <chr>       <chr>  <date>     <lgl>  <lgl> <chr>        <chr>    <chr>  
#> 1 Bricks.csv  Insta~ 2019-02-07 NA     NA    Baliest      Big Cam~ Creati~
#> 2 Bricks.csv  Insta~ 2019-02-07 NA     NA    Baliest      Big Cam~ Creati~
#> 3 Bricks.csv  Insta~ 2019-02-07 NA     NA    Baliest      Big Cam~ Creati~
#> 4 Bricks.csv  Insta~ 2019-02-18 NA     NA    Baliest      Big Cam~ Creati~
#> 5 Bricks.csv  Insta~ 2019-02-26 NA     NA    Baliest      Big Cam~ Creati~
#> 6 Bricks.csv  Insta~ 2019-03-01 NA     NA    Baliest      Big Cam~ Creati~
#> 7 Bricks.csv  Insta~ 2019-03-02 NA     NA    Baliest      Big Cam~ Creati~
#> 8 Bricks.csv  Insta~ 2019-02-18 NA     NA    Klimt        Big Cam~ Creati~
#> # ... with 5 more variables: Signed <chr>, CountryCode <lgl>, State <lgl>,
#> #   AF <lgl>, Billable <int>
sum(res2$Billable) == 8
#> [1] TRUE

【讨论】:

  • 嗨杰森,非常感谢!实施 1 确实有效。实施 2 对于我的问题来说当然是一个很好的解决方案,这本来可以更清楚。
  • 我了解您所做的大部分更改。我知道我对公式的理解可能有限,但您能帮忙解释一下包含波浪号 (~) 对修复代码有何作用吗?
  • @micoo 波浪号不应真正改变您的实现。这只是匿名函数的快捷方式,而且funs(.) 已被软弃用,因此最好养成使用~ fx() 而不是funs(.) 的习惯,因为最终funs(.) 会消失。具体来说,~ as.numeric(.) 应该等同于 funs(as.numeric(.))。
  • 注意到了。非常感谢提供的周到和彻底的解决方案。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2023-03-10
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-10-25
相关资源
最近更新 更多