如何有效且快速地将大型 (6 Gb) .csv 文件导入 R，而不会导致 R REPL 崩溃？

Question

我有一个大的 .csv 文件，我需要将其导入 R 以便对其进行一些数据操作。我正在使用read.csv(file.csv) 方法，我将方法的结果分配给某个变量MyData。但是，当我尝试在 R REPL 中运行它时，程序崩溃了。有没有办法在 R 中高效快速地处理/读取一个不会导致终端崩溃的 .csv 文件？如果没有，我不应该只使用 Python 吗？

Answer 1

如果您尝试加载大于可用内存的文件，R 将崩溃，因此您应该看到您至少有 6gb 的可用内存（6gb .csv 的内存也大约为 6gb）。 Python会有同样的问题 （显然几年前有人问过exact same question for python）

要读取大型 csv 文件，您应该使用 readr::read_csv() 或 data.table::fread()，因为两者都比 base::read.table() 快得多。

readr::read_csv_chunked 支持分块读取 csv 文件，因此如果您不需要一次获取全部数据，这可能会有所帮助。您也可以尝试只读取感兴趣的列，以保持较小的内存大小。