【发布时间】:2021-12-31 18:25:41
【问题描述】:
我正在使用 Biopython 解析器处理氨基酸序列,但无论数据格式如何(格式是 fasta,也就是说,您可以将它们想象为字母字符串,如下所示,前面有 id),我的问题是我拥有大量数据,尽管尝试与 joblib 并行化,但运行此简单代码所需的时间估计为 400。
基本上我有一个文件,其中包含我必须从原始数据集 (original_dataset) 中删除 (ids_to_drop) 的一系列 id,以创建一个新文件 (new_dataset),其中包含原始数据集中包含的所有 id 而没有ids_to_drop。
我已经尝试了所有方法,但我不知道该怎么做,我现在被卡住了。非常感谢!
def file_without_ids_to_remove(seq):
with open(new_output, "a") as f, open(ids_to_drop, "r") as r: #output #removing file
remove = r.read().split("\n")
if seq.id not in remove:
SeqIO.write(seq, f, "fasta")
Parallel(n_jobs=10)(delayed(file_without_ids_to_remove)(seq) for seq in tqdm.tqdm(SeqIO.parse(original_dataset, 'fasta')))
要清楚,这是一个数据示例(sequence.id + 序列):
WP_051064487.1 MSSAAQTPEATSDVSDANAKQAEALRVASVNVNGIRASYRKGMAEWLAPRQVDILCLQEVRAPDEVVDGF LADDWHIVHAEAEAKGRAGVLIASRKDSLAPDATRIGIGEEYFATAGRWVEADYTIGENAKKLTVISAYV HSGEVGTQRQEDKYRFLDTMLERMAELAEQSDYALIVGDLNVGHTELDIKNWKGNVKNAGFLPEERAYFD KFFGGGDTPGGLGWKDVQRELAGPVNGPYTWWSQRGQAFDNDTGWRIDYHMATPELFARAGNAVVDRAPS YAERWSDHAPLLVDYTIR
更新:我在建议后尝试了以下方式,它有效。
with open(new_dataset, "w") as filtered:
[SeqIO.write(seq,filtered,"fasta") for seq in tqdm.tqdm(SeqIO.parse(original_dataset, 'fasta')) if seq.id not in ids_to_remove]
【问题讨论】:
标签: python if-statement parallel-processing biopython joblib