【问题标题】:Running a loop is paunfully very slow in R在 R 中运行循环非常慢
【发布时间】:2021-08-19 18:23:57
【问题描述】:

我有一个脚本,它可以计算拷贝数变化,并根据第一列信息将数据保存到名为“resultCNV.txt”的现有文件中。 这是我的脚本

setwd("./Data")
library(GenomicRanges)
library(dplyr)
library("scales")
require(tidyverse)
#Create annotation or refrence table
genes <- read.table("./Basefile/genes.txt", sep="\t", stringsAsFactors=FALSE, header=TRUE)
genes$chromosome_name <- gsub('X', '23', genes$chromosome_name)
genes$chromosome_name <- gsub('Y', '24', genes$chromosome_name)
colnames(genes) <- c("GeneSymbol","Chr","Start","End")
genes_GR <- makeGRangesFromDataFrame(genes,keep.extra.columns = TRUE)
#File need to be analyzed (3 step: preprocessing, comparison with reference or annotation and post-porcessing)
for(i in 1:36){
  df<- read.table(paste0("BRCA", i, ".txt"), sep="\t", stringsAsFactors=FALSE, header=TRUE)
  df$Chromosome <- gsub('X', '23', df$Chromosome)
  df$Chromosome <- gsub('Y', '24', df$Chromosome)
  colnames(df) <- c("Barcode", "Chr", "Start", "End", "extra1", "extra2")
  cnv <-  makeGRangesFromDataFrame(df, keep.extra.columns = TRUE)
  hits <- findOverlaps(genes_GR, cnv, type="within")
  df_ann <- cbind(df[subjectHits(hits),],genes[queryHits(hits),])
  df_ann <- unique(df_ann)
  df_ann <- df_ann[ , c("GeneSymbol", "Chr", "extra2")]
  colnames(df_ann) <- c("Ensembl_ID","Chr","Seg_value")
  df_ann$Seg_value2 <- abs(df_ann$Seg_value)
  df_ann$Seg_value2 = 2^df_ann$Seg_value2
  df_ann$Seg_value2 = df_ann[, 4] - 1
  df_ann$Seg_value2 = df_ann[, 4] * 2
  df_ann$Seg_value2 <- with(df_ann, sign(Seg_value) * Seg_value2)
  df_ann <- df_ann[ , c("Ensembl_ID", "Seg_value")]
  df_ann$Seg_value <- rescale(df_ann$Seg_value, to = c(-1, 1))
  df_ann1 <- read.table("/Basefile/genesforcomp.txt", sep="\t", stringsAsFactors=FALSE, header=TRUE)
  df <- rbind.data.frame(df_ann, df_ann1)
  df <- df[!duplicated(df$Ensembl_ID),]
  #saving the results into existing file based on first column values
  df1 <- read.delim("resultCNV.txt", check.names=FALSE, stringsAsFactors=FALSE)
  lst <- list(data.frame(df1), data.frame(df))
  df2 <- reduce(lst, full_join, by = "Ensembl_ID") %>% replace(., is.na(.), 0);
  write.table(df2, file="resultCNV.txt", quote = F, sep = "\t", row.names = F)
}

这是我用于测试Link 的数据。它有两个文件夹:基本文件夹:用于一次读取和数据:用于数据。

在最后 4 行中,我使用 tidyverse 的 full_join 函数,根据第一列值(Ensembl_ID)将分析的列添加到最后保存的输出中。我每次运行约 200 个文件,大约需要 2 个小时,而运行 100 个文件只需要 30 分钟(一次双曲线与循环次数)。在每个循环中,输出文件大小会减小到原来的 900kb,然后随着每个循环增加,例如 5 mb 然后 11 mb,依此类推。

是否可以减少时间,即不读取最后保存的输出而仅根据第一列合并列? 任何关于如何循环脚本的建议或想法将不胜感激。

提前致谢!

【问题讨论】:

  • 你能举个例子reproducible吗?
  • 您可以做很多小事 - 切换到 data.table 会加快您的所有操作。使用readr 包进行读写而不是read.table 和write.table 将加快这些操作。可能有一种方法可以将内容保存在内存中并按照您的建议跳过中间读/写步骤 - 但如果没有可重复的示例进行测试,很难帮助您进行这些更改。
  • 读写表格时,可以不用read.table和write.table,可以切换到data.table::fread和data.table::fwrite
  • 可能轻松获得:df_ann1 &lt;- read.table("/home/sumit/Academic/DHR/TCGA/Gene List/Final1/genesbase.txt", sep="\t", stringsAsFactors=FALSE, header=TRUE) 现在执行 >4000 次.. 只需在循环外执行一次。
  • @GregorThomas data.table::fread and fwrite (27 sec) 优于 readr (93 sec) 或 base read.delim (145 sec),至少节省 80% 的时间。我认为这是可以接受的。感谢您的帮助和洞察力。

标签: r merge tidyverse


【解决方案1】:

当我认为我的循环太慢时,我会使用 apply 方法。在你的情况下,它会是这样的:

e = function(i){
  df<- read.table(paste0("BRCA", i, ".txt"), sep="\t", stringsAsFactors=FALSE, header=TRUE)
  df$Chromosome <- gsub('X', '23', df$Chromosome)
  df$Chromosome <- gsub('Y', '24', df$Chromosome)
  colnames(df) <- c("Barcode", "Chr", "Start", "End", "extra1", "extra2")
  cnv <-  makeGRangesFromDataFrame(df, keep.extra.columns = TRUE)
  hits <- findOverlaps(genes_GR, cnv, type="within")
  df_ann <- cbind(df[subjectHits(hits),],genes[queryHits(hits),])
  df_ann <- unique(df_ann)
  df_ann <- df_ann[ , c("GeneSymbol", "Chr", "extra2")]
  colnames(df_ann) <- c("Ensembl_ID","Chr","Seg_value")
  df_ann$Seg_value2 <- abs(df_ann$Seg_value)
  df_ann$Seg_value2 = 2^df_ann$Seg_value2
  df_ann$Seg_value2 = df_ann[, 4] - 1
  df_ann$Seg_value2 = df_ann[, 4] * 2
  df_ann$Seg_value2 <- with(df_ann, sign(Seg_value) * Seg_value2)
  df_ann <- df_ann[ , c("Ensembl_ID", "Seg_value")]
  df_ann$Seg_value <- rescale(df_ann$Seg_value, to = c(-1, 1))
  df_ann1 <- read.table("/home/sumit/Academic/DHR/TCGA/Gene List/Final1/genesbase.txt", sep="\t", stringsAsFactors=FALSE, header=TRUE)
  df <- rbind.data.frame(df_ann, df_ann1)
  df <- df[!duplicated(df$Ensembl_ID),]
  #saving the results into existing file based on first column values
  df1 <- read.delim("genesforcomp1", check.names=FALSE, stringsAsFactors=FALSE)
  lst <- list(data.frame(df1), data.frame(df))
  df2 <- reduce(lst, full_join, by = "Ensembl_ID") %>% replace(., is.na(.), 0);
  write.table(df2, file="genesforcomp1", quote = F, sep = "\t", row.names = F)
}

lapply(1:4376, e)

在我的许多分析中,这为我节省了很多时间,我希望它也适用于您的分析。

小红包,估计你可以使用 pbapply 包中的 lapply 代替 pblapply() 的时间。

希望对你有帮助

【讨论】:

  • 我正在对其进行测试并将其报告给后台。谢谢
  • apply family 在这种情况下不会更快......有时创建输出结构会更快,但这里没有输出结构。慢的是循环里面的代码,而不是循环机制是for还是lapply。
  • @GregorThomas 实际上,当我运行 16 个文件时,它会将时间从 47 秒增加到 53/50 秒。
  • @elielink 其他一些用户提出了一些方法,我会检查它们是否可以工作。无论如何谢谢
【解决方案2】:

data.table 库 fread 和 fwrite 在这种情况下很好用。它将时间减少了约 80%。 data.table::fread / fwrite (27 sec) 的整体性能优于 readr (93 sec) 或 read.delim (145 sec)。我觉得可以接受。

【讨论】:

  • 您的解释不正确 - 当您使用 read.table 或 read.delim 或 fread 时,您会将整个文件读入 R。当您使用 write.table 或 fwrite 时,您会覆盖整个文件。只是fread 和fwrite 在读写方面快得多。您仍然可以通过在 cmets 中遵循 Roland 的建议将代码重构为根本不在循环内读/写来加快您的代码。
  • @GregorThomas 感谢您纠正我,我是新手,所以不太了解。我会听从你的建议,让你知道。我也会相应地修改我的答案。感谢您抽出宝贵的时间。
猜你喜欢
  • 2011-08-09
  • 2016-11-23
  • 1970-01-01
  • 2018-11-11
  • 1970-01-01
  • 2017-05-12
  • 2014-03-19
  • 2012-12-24
  • 1970-01-01
相关资源
最近更新 更多