如何遍历R中的CSV文件文件夹

Question

我有一个文件夹，其中包含一堆标题为“yob1980”、“yob1981”、“yob1982”等的 CSV 文件。

我必须使用 for 循环遍历每个文件并将其内容放入数据框中 - 数据框中的列应为“1980”、“1981”、“1982”等

这是我所拥有的：

file_list <- list.files()

temp = list.files(pattern="*.txt")
babynames <- do.call(rbind,lapply(temp,read.csv, FALSE))

names(babynames) <- c("Name", "Gender", "Count")

我觉得我需要一个 for 循环，但我不确定如何循环文件。有人指出我正确的方向吗？

Answer 1

使用咕噜声

library(tidyverse)

files <- list.files(path = "./data/", pattern = "*.csv")

df <- files %>% 
    map(function(x) {
        read.csv(paste0("./data/", x))
    }) %>%
    reduce(rbind)

Answer 2

我最喜欢的方法是使用plyr 包中的ldply。它具有返回数据帧的优点，因此您无需在之后执行 rbind 步骤：

library( plyr )
babynames <- ldply( .data = list.files(pattern="*.txt"),
                    .fun = read.csv,
                    header = FALSE,
                    col.names=c("Name", "Gender", "Count") )

另外一个好处是，您可以非常轻松地进行多线程导入，从而大大加快导入大型多文件数据集的速度：

library( plyr )
library( doMC )
registerDoMC( cores = 4 )
babynames <- ldply( .data = list.files(pattern="*.txt"),
                    .fun = read.csv,
                    header = FALSE,
                    col.names=c("Name", "Gender", "Count"),
                    .parallel = TRUE )

稍微更改上述内容以在结果数据框中包含Year 列，您可以先创建一个函数，然后在ldply 中执行该函数，就像执行read.csv 一样

readFun <- function( filename ) {

    # read in the data
    data <- read.csv( filename, 
                      header = FALSE, 
                      col.names = c( "Name", "Gender", "Count" ) )

    # add a "Year" column by removing both "yob" and ".txt" from file name
    data$Year <- gsub( "yob|.txt", "", filename )

    return( data )
}

# execute that function across all files, outputting a data frame
doMC::registerDoMC( cores = 4 )
babynames <- plyr::ldply( .data = list.files(pattern="*.txt"),
                          .fun = readFun,
                          .parallel = TRUE )

这将以简洁整洁的方式为您提供数据，这就是我建议从这里开始的方式。虽然可以将每年的数据分成单独的列，但这可能不是最好的方法。

注意：根据您的偏好，将Year 列转换为integer 类可能是个好主意。但这取决于你。

Answer 3

考虑lapply() 中的匿名函数：

files = list.files(pattern="*.txt")

dfList <- lapply(files, function(i) {
     df <- read.csv(i, header=FALSE, col.names=c("Name", "Gender", "Count"))
     df$Year <- gsub("yob", "", i) 
     return(df)
})

finaldf <- do.call(rbind, dflist)

Answer 4

在这种情况下，for 循环可能比 lapply 更合适。

file_list = list.files(pattern="*.txt")
data_list <- vector("list", "length" = length(file.list))

for (i in seq_along(file_list)) {
    filename = file_list[[i]]

    # Read data in
    df <- read.csv(filename, header = FALSE, col.names = c("Name", "Gender", "Count"))

    # Extract year from filename
    year = gsub("yob", "", filename)
    df[["Filename"]] = year

    # Add year to data_list
    data_list[[i]] <- df
}

babynames <- do.call(rbind, data_list)