【问题标题】:read in csv-files with the same name from subdirectories in R从 R 的子目录中读取具有相同名称的 csv 文件
【发布时间】:2023-03-03 09:41:02
【问题描述】:

我有 2 个文件夹,名为 facebookdata1 和 facebookdata2。这些文件夹包含 CSV 文件,它们具有完全相同的名称(“活动”、“用户”等),并且数量相同。

我必须从 2 个不同的文件夹中读取并合并(rbind...)同名的 csv 文件到 R 中。

我知道我可以通过以下方式读取一个文件夹中的所有 csv 文件:

temp = list.files(pattern="*.csv")
for (i in 1:length(temp)) assign(temp[i], read.csv(temp[i]))

【问题讨论】:

    标签: r csv merge concatenation subdirectory


    【解决方案1】:

    以下应该可以完成工作:

    directories <- c("path/to/facebookdata1", "path/to/facebookdata2")
    files <- lapply(directories, list.files, pattern="*.csv", full.names = TRUE)
    files <- lapply(files, sort)
    dat <- Map(function(x,y) { rbind(read.csv(x), read.csv(y)) },
        files[[1]], files[[2]])
    

    现在它们是 dat 的列表元素。 如果你想将它们分配给 globalenv 使用

    list2env(dat)
    

    您可以使用data.table 加快处理速度,如下所示:

    require(data.table)
    dat <- Map(function(x,y) { rbindlist(fread(x), fread(y)) },
            files[[1]], files[[2]])
    

    【讨论】:

    • 我认为它有效!现在运行:) 大量 csv 文件和大量数据要读取:)
    • 您可以使用 data.table::fread 和 data.table::rbindlist 而不是基本的 read.csv 和 rbind 来加速它 - 请参阅编辑
    【解决方案2】:

    你只是缺少一个 rbind!我通过删除“.csv”稍微整理了你的变量名。

    files1 <- list.files(path = "facebookdata1/", pattern="\\.csv$")
    files2 <- list.files(path = "facebookdata2/", pattern="\\.csv$")
    if(length(setdiff(files1, files2))>0)
      stop("Actually, the two directories do not have the same files")
    
    for (file in files1) {
      varname <- substr(file, start=1, stop=nchar(file)-4)
      data1 <- read.csv(file.path("facebookdata1", file))
      data1 <- read.csv(file.path("facebookdata2", file))
    
      assign(varname, rbind(data1, data2))
    } 
    

    【讨论】:

    • 你是天赐良机!我收到以下错误:rbind(deparse.level, ...) 中的错误:参数的列数不匹配
    • 检查 data1 和 data2 是否符合您的预期。该错误表示 data1 和 data2 的列数不同,这可能意味着 2 件事:要么 数据未正确读取(例如路径错误且 data2 为 NULL,或者实际上是不是 csv 并且您误读了数据),或这两个文件确实没有相同的列数。在这种情况下,您可以使用包 plyr 中的 rbind.fill 或包 dplyr 中的 bind_rows 来合并它们并保留所有列。
    • 还要检查files1 和files2 的内容,好吧,检查一切是否符合您的预期!
    猜你喜欢
    • 2016-12-27
    • 1970-01-01
    • 1970-01-01
    • 2012-06-25
    • 2019-03-04
    • 1970-01-01
    • 2016-01-05
    • 2020-04-11
    • 2023-03-15
    相关资源
    最近更新 更多