在 Python-3.x 中使用最大 CPU 能力进行多处理

Question

我正在研究由 32 亿个字符组成的人类基因组，并且我有一个需要在此数据中搜索的对象列表。像这样的：

result_final=[]
objects=['obj1','obj2','obj3',...]

def function(obj):
    result_1=search_in_genome(obj)
    return(result_1)

for item in objects:
    result_2=function(item)
    result_final.append(result_2)

在数据中搜索每个对象需要近 30 秒，而我有几千个对象。我注意到，在串行执行此操作时，仅使用了 7% 的 CPU 和 5% 的 RAM。正如我搜索的那样，为了减少计算时间，我应该使用队列、线程或多处理进行并行计算。但对于非专家来说，它们似乎很复杂。任何人都可以帮助我如何为 python 编写代码以同时运行 10 个搜索，是否可以让 python 使用最大可用 CPU 和 RAM 进行多处理？ （我在具有 64Gb RAM、COREI7 和 3.5 GH CPU 的 Windows 7 上使用 Python33）

Answer 1

您可以为此使用multiprocessing 模块：

from multiprocessing import Pool

objects=['obj1','obj2','obj3',...]

def function(obj):
    result_1=search_in_genome(obj)
    return(result)


if __name__ == "__main__":
    pool = Pool()
    result_final = pool.map(function, objects)

这将允许您跨机器上所有可用的 CPU 扩展工作，因为进程不受 GIL 影响。您不希望运行比可用 CPU 更多的任务。一旦你这样做了，你实际上开始减慢速度，因为 CPU 必须不断在进程之间切换，这会降低性能。

Answer 2

好的，我不确定您的问题，但我会这样做（请注意，可能会有更好的解决方案，因为我不是队列对象方面的专家）：

如果你想多线程搜索：

class myThread (threading.Thread):

    def __init__(self, obj):

        threading.Thread.__init__(self)

        self.result = None

        self.obj = obj

    #Function who is called when you start your Thread
    def run(self)

        #Execute your function here
        self.result = search_in_genome(self.obj)




if __name__ == '__main__':

    result_final=[]
    objects=['obj1','obj2','obj3',...]

    #List of Thread
    listThread = []

    #Count number of potential thread
    allThread = objects.len()
    allThreadDone = 0

    for item in objects:

        #Create one thread
        thread = myThread(item)

        #Launch that Thread
        thread.start()

        #Stock it into the list
        listThread.append(thread)


    while True:

        for thread in listThread:

            #Count number of Thread who are finished
            if thread.result != None:

                #If a Thread is finished, count it
                allThreadDone += 1

        #If all thread are finished, then stop program
        if allThreadDone == allThread:
            break
        #Else initialyse flag to count again
        else:
            allThreadDone = 0

如果有人可以检查并验证此代码会更好。 （对不起，我的英语顺便说一句）