使用外部程序进行多处理 - 执行速度

Question

我需要对我的数据运行几百万次相对较慢的外部程序。这个外部程序称为 RNAup，这是一个用于确定两个 RNA 之间结合能的程序。在许多情况下，每个 RNA-RNA 对需要 10 到 15 分钟。这对于在几百万行数据上顺序运行来说太慢了，所以我决定通过尽可能并行运行程序来加快这个过程。但是，它仍然太慢了。下面是我如何并行化它的使用：

import subprocess
import multiprocessing as mult
import uuid

def energy(seq, name):
    for item in seq:
        item.append([]) # adding new list to house the energy information

        stdin = open("stdin" + name + ".in", "w")
        stdin.write(item)
        stdin.close()
        stdin = open("stdin" + name + ".in", "r") # bug: this line is required to prevent bizarre results. maybe to slow down something? time.sleep()ing is no good, you must access this specific file for some reason!
        stdout = open("stdout" + name + "out", "w")

        subprocess.call("RNAup < stdin" + name + ".in > stdout" + name + ".out", shell=True) # RNAup call slightly modified for brevity and clarity of understanding
        stdout.close()

        stdout = open("stdout" + name + ".out", "r")
        for line in stdout:
            item[-1].append(line)
        stdout.close()
    return seq

def intermediate(seq):
    name = str(uuid.uuid4()) # give each item in the array a different ID on disk so as to not have to bother with mutexes or any kind of name collisions
    energy(seq, name)

PROCESS_COUNT = mult.cpu_count() * 20 # 4 CPUs, so 80 processes running at any given time
mult.Pool(processes=PROCESS_COUNT).map(intermediate, list_nucleotide_seqs)

如何显着提高程序的速度？ （顺便说一句，我会接受涉及将部分、大部分或全部程序转移到 C 的答案。）现在，我需要半年时间才能完成我所有的数据，这根本无法接受，我需要一些让我的程序更快的方法。

Answer 1

如果RNAup 真的要为输入文件中的每一行花费 10 到 15 分钟，那么您在这里无能为力。 那 是瓶颈，而不是 Python 代码。将RNAup 的工作分散到所有可用内核上是您可以做的最好的事情，以仅使用一台机器来加快速度，并且充其量意味着您将快 4 倍（假设有 4 个 CPU 内核）。但是如果你有 100 万双，你仍然在看 10 分钟 x 250,000 组跑步。假设您不能让RNAup 更快，听起来您需要使用Celery 或其他一些分布式框架将这项工作分布在多台机器上。