大文件的逐行操作

Question

所以我有一个包含大约 280 列和 10 亿数据的大型 CSV 文件，文件大小约为 20GB。下面提供了此文件的示例（大约 7 列和 4 行）：

SL No.,Roll No.,J_Date,F_Date,S1,S2,S3
1,00123456789,2004/09/11,2009/08/20,43,67,56
2,987654321,2010/04/01,2015/02/20,82,98,76
3,0123459876,2000/06/25,2005/10/02,72,84,02
4,000543216789,1990/08/29,1998/05/31,15,64,82

现在鉴于文件如此之大，我将不得不一次以较小的块读取此文件，并且我能够指定块大小。但正如您可能从样本中看到的那样，“卷号”。必须读作“字符”而不是“数字”。我还需要添加列“S1”、“S2”、“S3”并将总和写入新列“MM”。

上述示例的输出必须是这样的：

SL No.,Roll No.,J_Date,F_Date,S1,S2,S3,MM
1,00123456789,2004/09/11,2009/08/20,43,67,56,166
2,987654321,2010/04/01,2015/02/20,82,98,76,256
3,0123459876,2000/06/25,2005/10/02,72,84,02,158
4,000543216789,1990/08,29,1998/05/31,15,64,82,161

我知道以前有人问过类似的问题，但我发誓我找不到 1 个对我有用的答案。我提到了以下问题：

R:Loops to process large dataset(GBs) in chunks?

Trimming a huge (3.5 GB) csv file to read into R

How do i read only lines that fulfil a condition from a csv into R?

Reading numbers as strings

Read numeric input as string R 还有很多。

这可能是说我在 R 方面完全是初学者的好时机，因此非常感谢各种帮助。我已经坐了很长时间了。

Answer 1

我不能说我自己以前做过，但我认为这应该可行。

library( data.table )

# set the input and output files
input.file <- "foo.csv"
output.file <- sub( "\\.csv$", "_output\\.csv", input.file )

# get column names by importing the first few lines
column.names <- names( fread( input.file, header = TRUE, nrows = 3L ) )

# write those column names as a line of text (header)
cat( paste( c( column.names, "MM" ), collapse = "," ),
     file = output.file, append = FALSE )
cat( "\n", file = output.file, append = TRUE )

# decide how many rows to read at a time
rows.at.a.time <- 1E4L

# begin looping
start.row <- 1L
while( TRUE ) {

    # read in only the specified lines
    input <- fread( input.file,
                    header = FALSE,
                    skip = start.row,
                    nrows = rows.at.a.time
    )

    # stop looping if no data was read
    if( nrow( input ) == 0L ) break

    # create the "MM" column
    input[ , MM := rowSums( .SD[ , 5:7 ] ) ]

    # append the data to the output file
    fwrite( input,
            file = output.file,
            append = TRUE, col.names = FALSE )

    # bump the `start.row` parameter
    start.row <- start.row + rows.at.a.time

    # stop reading if the end of the file was reached
    if( nrow( input ) < rows.at.a.time ) break

}

更新：为了保留字符串，您可以通过在循环内的 fread 调用中指定将所有列作为字符导入：

colClasses = rep( "character", 280 )

然后，要执行行求和（因为您现在拥有所有字符列），您需要在其中包含一个转换。以下将替换代码中的单行（上面有相同注释的那一行）：

# create the "MM" column
input[ , MM := .SD[ , 5:7 ] %>%
           lapply( as.numeric ) %>%
           do.call( what = cbind ) %>%
           rowSums()
       ]

这里指定了5:7，您可以替换为要传递给rowSums()的任何列引用向量

请注意，如果将上述内容与%>% 管道一起使用，则需要在代码顶部使用library(magrittr) 来加载函数。