将提取的 CSV 循环到一个数据帧中

Question

我有一些来自 s3 存储桶的 CSV 文件，我想将它们合并到一个数据帧中。出于本练习的目的，让我们使用存储在名为script_results 的字符向量中的这五个文件：

[1] "05162021-test-america-distributed-a-script_results-03-16-2021-404806813.csv"
[2] "07262021-test-america-distributed-a-script_results-04-26-2021-534691276.csv"
[3] "09202021-test-arizona-script_results-08-19-2020--08-31-2020-354731384.csv"
[4] "09222021-test-wisconsin-script_results-08-19-2020--08-20-2020-068472211.csv"
[5] "01062021-av-america-script_results-01-5-2021-038680844.csv"

第一步是从每个 CSV 中提取数据，使用以下内容（以上面列出的第一个 .csv 为例）：

extract_data <- aws.s3::s3read_using(read.csv, bucket = "test-america", object = "03162021-test-america-distributed-a-script_results-03-16-2021-404806813.csv")

然后，它会使用 plyr 包中的 rbind.fill 函数将这些解压缩的 CSV 中的每一个连续绑定到一个数据帧中。

因此，最终结果将是来自script_results 下列出的五个 CSV 的所有五个数据集使用rbind.fill 函数合并在一起。

我还应该注意，我每天都会收到一个新文件，所以我想不断调整这些新文件到达我的 S3 存储桶。

这可能吗？

编辑：使用@r2evans cmets

L <- lapply(script_results, function(fn) aws.s3::s3read_using(read.csv, bucket="bucket-name", object=fn))

这行得通。但问题是当我尝试使用以下方法将其转换为数据框时：

t<- do.call(rbind.data.frame, L)

我收到以下错误：

Error in (function (..., deparse.level = 1, make.row.names = TRUE, stringsAsFactors = FALSE,  : 
  numbers of columns of arguments do not match

Answer 1

我不熟悉 aws.s3 中的函数，但这是基本概念，也许您可​​以将其翻译为适合您的情况。

library(plyr)

# your old dataframe of bucket data from "yesterday" with a field that holds the
# name of each csv that a given record is associated with
df_old <- data.frame(otherdata = c(1,2,3), csv = "from_a_previous_bucket_dump.csv")

# get the names of files in the bucket "today"
scriptresults <- list.files()

# only read csvs that aren't already in df_old$csv
fs_new <- setdiff(scriptresults, df_old$csv)

# Read a csv and add it name as a new field
read_csv_filename <- function(filename){
  ret <- read.csv(filename)
  ret$csv <- filename
  return(ret)
}
fsl <- lapply(fs_new, read_csv_filename)

df_new <- plyr::rbind.fill(c(fsl, list(df_old)))

read_csv_filename() 来自When importing CSV into R how to generate column with name of the CSV?