如何使用 R 从 Allen Brain Map 将 63 GB .csv 文件读入 RStudio？

Question

使用 RStudio，我正在尝试从 Brain Allen 研究所读取 Gene_expression_matrix.csv 文件，但该文件太大，即使对于具有大量 RAM 的计算机也是如此（我可以访问并在笔记本电脑上尝试过）有 64 GB RAM 和 384 GB RAM 的计算机。有没有人访问过这个文件或任何类似大小的文件？谢谢！

我正在使用此代码：

Gene_expression_matrix <- read.csv("Gene_expression_matrix.csv")

我收到的错误信息是：

Error: cannot allocate vector of size 3.9 Mb

Answer 1

你可以像这样使用disk.frame

library(disk.frame)
setup_disk.frame()

Gene_expression_matrix.df <- csv_to_disk.frame(
   "Gene_expression_matrix.csv",
   outdir = "c:/this/is/where/the/output/is" # specify a path for where you want to save the file
)

如果上述方法失败，请尝试通过指定 in_chunk_size 来限制您读取的数量，这一次只会读取 in_chunk_size 行以限制 RAM 使用。例如

Gene_expression_matrix.df <- csv_to_disk.frame(
   "Gene_expression_matrix.csv",
   outdir = "c:/this/is/where/the/output/is", # specify a path for where you want to save the file
   in_chunk_size = 1e7 # read 10 million rows at a time; adjust down if still runs of out RAM
)

加载数据后，您可以使用 dplyr 动词和一些常用函数来查看数据。看到这个quick start。

例如

head(Gene_expression_matrix.df)

我确信 {disk.frame} 可以在这种情况下提供帮助，因为它就是为此而设计的！如果您遇到问题，请提出票here，我会帮助您。

Answer 2

试试这个库

library('data.table')
Gene_expression_matrix <- fread("Gene_expression_matrix.csv")

它比read.csv 快得多。