【发布时间】:2021-08-19 18:23:57
【问题描述】:
我有一个脚本,它可以计算拷贝数变化,并根据第一列信息将数据保存到名为“resultCNV.txt”的现有文件中。 这是我的脚本
setwd("./Data")
library(GenomicRanges)
library(dplyr)
library("scales")
require(tidyverse)
#Create annotation or refrence table
genes <- read.table("./Basefile/genes.txt", sep="\t", stringsAsFactors=FALSE, header=TRUE)
genes$chromosome_name <- gsub('X', '23', genes$chromosome_name)
genes$chromosome_name <- gsub('Y', '24', genes$chromosome_name)
colnames(genes) <- c("GeneSymbol","Chr","Start","End")
genes_GR <- makeGRangesFromDataFrame(genes,keep.extra.columns = TRUE)
#File need to be analyzed (3 step: preprocessing, comparison with reference or annotation and post-porcessing)
for(i in 1:36){
df<- read.table(paste0("BRCA", i, ".txt"), sep="\t", stringsAsFactors=FALSE, header=TRUE)
df$Chromosome <- gsub('X', '23', df$Chromosome)
df$Chromosome <- gsub('Y', '24', df$Chromosome)
colnames(df) <- c("Barcode", "Chr", "Start", "End", "extra1", "extra2")
cnv <- makeGRangesFromDataFrame(df, keep.extra.columns = TRUE)
hits <- findOverlaps(genes_GR, cnv, type="within")
df_ann <- cbind(df[subjectHits(hits),],genes[queryHits(hits),])
df_ann <- unique(df_ann)
df_ann <- df_ann[ , c("GeneSymbol", "Chr", "extra2")]
colnames(df_ann) <- c("Ensembl_ID","Chr","Seg_value")
df_ann$Seg_value2 <- abs(df_ann$Seg_value)
df_ann$Seg_value2 = 2^df_ann$Seg_value2
df_ann$Seg_value2 = df_ann[, 4] - 1
df_ann$Seg_value2 = df_ann[, 4] * 2
df_ann$Seg_value2 <- with(df_ann, sign(Seg_value) * Seg_value2)
df_ann <- df_ann[ , c("Ensembl_ID", "Seg_value")]
df_ann$Seg_value <- rescale(df_ann$Seg_value, to = c(-1, 1))
df_ann1 <- read.table("/Basefile/genesforcomp.txt", sep="\t", stringsAsFactors=FALSE, header=TRUE)
df <- rbind.data.frame(df_ann, df_ann1)
df <- df[!duplicated(df$Ensembl_ID),]
#saving the results into existing file based on first column values
df1 <- read.delim("resultCNV.txt", check.names=FALSE, stringsAsFactors=FALSE)
lst <- list(data.frame(df1), data.frame(df))
df2 <- reduce(lst, full_join, by = "Ensembl_ID") %>% replace(., is.na(.), 0);
write.table(df2, file="resultCNV.txt", quote = F, sep = "\t", row.names = F)
}
这是我用于测试Link 的数据。它有两个文件夹:基本文件夹:用于一次读取和数据:用于数据。
在最后 4 行中,我使用 tidyverse 的 full_join 函数,根据第一列值(Ensembl_ID)将分析的列添加到最后保存的输出中。我每次运行约 200 个文件,大约需要 2 个小时,而运行 100 个文件只需要 30 分钟(一次双曲线与循环次数)。在每个循环中,输出文件大小会减小到原来的 900kb,然后随着每个循环增加,例如 5 mb 然后 11 mb,依此类推。
是否可以减少时间,即不读取最后保存的输出而仅根据第一列合并列? 任何关于如何循环脚本的建议或想法将不胜感激。
提前致谢!
【问题讨论】:
-
你能举个例子reproducible吗?
-
您可以做很多小事 - 切换到
data.table会加快您的所有操作。使用readr包进行读写而不是read.table和write.table将加快这些操作。可能有一种方法可以将内容保存在内存中并按照您的建议跳过中间读/写步骤 - 但如果没有可重复的示例进行测试,很难帮助您进行这些更改。 -
读写表格时,可以不用
read.table和write.table,可以切换到data.table::fread和data.table::fwrite -
可能轻松获得:
df_ann1 <- read.table("/home/sumit/Academic/DHR/TCGA/Gene List/Final1/genesbase.txt", sep="\t", stringsAsFactors=FALSE, header=TRUE)现在执行 >4000 次.. 只需在循环外执行一次。 -
@GregorThomas data.table::fread and fwrite (27 sec) 优于 readr (93 sec) 或 base read.delim (145 sec),至少节省 80% 的时间。我认为这是可以接受的。感谢您的帮助和洞察力。