使用 read.csv() 导入时 R 中止

Question

我有一个大约 240 mio 行和 3 列的矩阵，我需要在 R 中“导入和使用”。我现在无法访问服务器，所以我有了导入子矩阵的想法，使用它，然后将其从环境中丢弃并重复该过程，直到整个矩阵完成（对于我必须做的事情，它也同样有效）。 特别是，由于行数是 11 的倍数，我决定使用 11 个子矩阵。因此，我一直在做的事情如下：

1. 定义Nstep为每次导入的行数（总nr of rows/11，约22 Mio。）
2. mat.n
3. 做我该做的事
4. 丢弃矩阵
5. 对 n = 1, 2, ..., 11 重复（手动，以确保每一步都成功）上述操作。

在完成第 6 个块的导入后，我意识到我离开了 header=T，所以我设置了 header=F。从那时起，每次我尝试导入文件时，R 会话都会中止。 *编辑：重新设置 header=T 也不起作用。

我认为这取决于 header=F 的东西，但事实并非如此。因此我猜它与 Nstep 或子矩阵的第一行有关。我试着做一些实验： - 如果我重新导入第一个块，它可以工作 - 如果我导入第 5 个块，仅前 10 行，则需要很长时间（我让它在大约 20 分钟前开始并且尚未完成，即使它只有 10 行） - 如果我在 R 上重复它而不是在 R Studio 上重复，我会遇到同样的问题。

知道为什么会这样吗？ 我正在使用 R Studio 版本 0.98.1028 上的 R 版本 3.1.1，平台：x86_64-w64-mingw32/x64（64 位）。

Answer 1

对于大数据文件，有更好的 read.* 函数替代方案。特别是 data.table 包的 fread() 函数或 readr 包，它具有比 fread 更安全的替代方案（虽然比 fread 慢一点，但与原始 read.* 函数相比仍然非常快）。

最终，您仍然会受到计算机内存大小的限制。也有解决方法，但我认为对于您的情况 fread() 或 readr 会做得很好。

Answer 2

为了不耗尽内存，您可以尝试在rm(mat.n) 处理矩阵后删除矩阵，然后确保使用gc() 释放内存。