【问题标题】:Joblib too slow using "if not in" loopJoblib 使用“if not in”循环太慢
【发布时间】:2021-12-31 18:25:41
【问题描述】:

我正在使用 Biopython 解析器处理氨基酸序列,但无论数据格式如何(格式是 fasta,也就是说,您可以将它们想象为字母字符串,如下所示,前面有 id),我的问题是我拥有大量数据,尽管尝试与 joblib 并行化,但运行此简单代码所需的时间估计为 400。

基本上我有一个文件,其中包含我必须从原始数据集 (original_dataset) 中删除 (ids_to_drop) 的一系列 id,以创建一个新文件 (new_dataset),其中包含原始数据集中包含的所有 id 而没有ids_to_drop。

我已经尝试了所有方法,但我不知道该怎么做,我现在被卡住了。非常感谢!

def file_without_ids_to_remove(seq):
    with open(new_output, "a") as f, open(ids_to_drop, "r") as r: #output #removing file 
        remove = r.read().split("\n")
        if seq.id not in remove:
            SeqIO.write(seq, f, "fasta")
    

Parallel(n_jobs=10)(delayed(file_without_ids_to_remove)(seq) for seq in tqdm.tqdm(SeqIO.parse(original_dataset, 'fasta')))

要清楚,这是一个数据示例(sequence.id + 序列):

WP_051064487.1 MSSAAQTPEATSDVSDANAKQAEALRVASVNVNGIRASYRKGMAEWLAPRQVDILCLQEVRAPDEVVDGF LADDWHIVHAEAEAKGRAGVLIASRKDSLAPDATRIGIGEEYFATAGRWVEADYTIGENAKKLTVISAYV HSGEVGTQRQEDKYRFLDTMLERMAELAEQSDYALIVGDLNVGHTELDIKNWKGNVKNAGFLPEERAYFD KFFGGGDTPGGLGWKDVQRELAGPVNGPYTWWSQRGQAFDNDTGWRIDYHMATPELFARAGNAVVDRAPS YAERWSDHAPLLVDYTIR

更新:我在建议后尝试了以下方式,它有效。

with open(new_dataset, "w") as filtered:
    [SeqIO.write(seq,filtered,"fasta") for seq in tqdm.tqdm(SeqIO.parse(original_dataset, 'fasta')) if seq.id not in ids_to_remove]

   

【问题讨论】:

    标签: python if-statement parallel-processing biopython joblib


    【解决方案1】:

    这看起来像一个简单的文件过滤操作。将要删除的 id 转换为一组,然后只需读取/过滤/写入原始数据集。集合针对快速查找进行了优化。此操作将受 I/O 限制,不会从并行化中受益。

    with open("ids-to-remove") as f:
        ids_to_remove = {seq_id_line.strip() for seq_id_line in f}
    # just in case there are blank lines
    if "" in ids_to_remove:
        ids_to_remove.remove("")
    with open("original-data-set") as orig, open("filtered-data-set", "w") as filtered:
        filtered.writelines(line for line in orig if line.split()[0] not in ids_to_remove)
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2016-10-23
      • 2016-01-01
      • 2020-09-09
      • 1970-01-01
      • 1970-01-01
      • 2012-12-24
      • 1970-01-01
      相关资源
      最近更新 更多