使用 3 GB 文件

Question

我有一个大约 500 万行的 3.8 GB 文本文件，我想在某些列上运行方差分析 - WH。

当我阅读它给出的文本文件时出现错误：

d<-read.table("test.txt", header= TRUE, sep="|")
head(d)
dim(d)

错误：无法分配大小为 31.2 Mb 的向量

如何处理这些数据？

我在 Windows 上使用 8GB 物理内存并使用带有 memory.limit(0 = 3583) 的 32 位 R

Answer 1

除了我上面的评论之外，您可以使用 data.table::fread 及其 select 参数从文件中读取选定的列。它也比read.table 快很多并且显示了进步。如果你想要一个 data.frame 而不是 data.table 你可以使用data.table = FALSE 参数。

无论如何，您确实应该使用 64 位 R。