需要有关使用 R 清理数据的建议

Question

我有多个相同格式的 csv 文件需要合并，但在此之前

1. 标题不是第一行而是第四行。我应该通过跳过删除前 3 行吗？还是我应该重新分配标题？
2. 我需要在合并之前添加一列，该列是文件的 ID（与文件名相同）。
3. 那么我只需要从总共 7 列中提取 4 列。
4. 总结一个类别下的数字。
5. 将所有 csv 文件合并为一个。

这就是我目前所做的第 1、3、4 步，然后只添加 2 个列然后 5 个，不确定我是否应该先在 ID 列中添加？

files = list.files(pattern = "*.csv", full.names = TRUE)

library("tidyverse")
library("dplyr")

data = data.frame()

for (file in files){
    temp <- read.csv(file, skip=3, header = TRUE)
    colnames(temp) <- c("Volume", "Unit", "Category", "Surpass Object", "Time", "ID")
    temp <- temp [, c("Volume", "Category", "Surpass Object")]
    temp <- subset(temp, Category =="Surface")
    mutate(id = file)
    aggregate(temp$Volume, by=list(Category=temp$Category), FUN=sum)
    
}

我得到了一个错误：

Error in is.data.frame(.data) : 
  argument ".data" is missing, with no default

如果我没有放入 mutate 行，代码很好，所以我认为主要问题来自那里，但任何建议都将不胜感激。

我对 R 很陌生，非常感谢我能在这里找到的所有 cmets。

提前致谢！

Answer 1

您可以使用read.csv()，但如果文件很多，我建议使用data.table 包中的fread()。它明显更快。我在这里使用了fread()，但如果你把它换成read.csv()，它仍然可以工作。 fread() 也更高级。你会发现，即使像skip 这样的东西有时也可以省略，仍然可以正确读取。

library(tidyverse)
library(data.table)

add_filename <- function(flnm){
    fread(flnm, skip = 3) %>%   # read file
    mutate(id = basename(flnm)) # creates new col id w/ basename of the file 
}

# single data frame all CSVs; id in first col
df <- list.files(pattern = "*.csv", full.names = TRUE) %>%
    map_df(~add_filename) %>%
    select(id, Volume, Category, `Surpass Object`)

我得到的印象是您想要聚合但也保留合并的数据框。如果是这种情况，您将聚合与构建数据框分开。

df %>%       # not assigned to a new object, so only shown in console
    filter(Category == "Surface") %>%  # filter for the category desired
    {sum(.$Volume)}                    # sum the remaining values for volume

如果您不知道，最后一次调用中的时间段是结转的数据，因此在这种情况下，是过滤后的数据。解释 {} 的最简单方法（也许不是最好的方法）是 sum() 不是为处理数据帧而设计的，因此与 dplyr 管道并不友好。

如果您想要每个类别的音量总和，而不仅仅是您在问题中编码的"Surface"，那么您可以改用它：

df %>% 
    group_by(Category) %>%
    summarise(sum(Volume))

请注意，我在这里使用了 summarize 的英式拼写。函数summarize() 在很多包中。我刚刚发现，每当我想确保它是我调用的 dplyr 函数时，对这个函数使用英国拼写更容易。 （我认为，tidyverse 几乎所有函数都接受美式和英式拼写。）

Answer 2

由于您似乎在尝试使用dplyr，所以我会坚持使用该主题。

library(dplyr)
library(purrr)
files = list.files(pattern = "*.csv", full.names = TRUE)
results <- map_dfr(setNames(nm = files), ~ read.csv(.x, skip=3, header=TRUE), .id = "filename") %>%
  select(filename, Category, Volume, Surpass) %>% # no idea why you want Surpass
  group_by(filename, Category) %>%
  summarize(Volume = sum(Volume))                 # Surpass is discarded here

演练：

1. purrr::map_dfr 在每个输入（files 中的每个文件）上迭代我们的函数 (read.csv(...)) 并将其进行行连接。由于我们用它们自己命名文件（setNames(nm=files) 类似于 names(files) <- files），我们可以使用 id="filename" 添加一个“文件名”列，以反映每行是从哪个文件中获取的。

2. select(...) 你说你需要的任何四列。坦率地说，既然你在汇总，我们真的只需要c("filename", "Category", "Volume")，其他任何东西，你可能在你的解释中遗漏了一些东西。

3. group_by(..) 将允许我们为每个文件名获取一行，每个Category，其中Volume 是一个总和（在下一步中计算，summarize）。