同时运行一定数量的线程/进程

Question

我需要同时运行一定数量的线程或进程，直到它们全部完成。我如何在 Python 2.6 中做到这一点。 （注意：我相信 Python 3.0 有 ThreadPoolExecutor 但这对我没有帮助，因为我们使用的是 2.6）。

我尝试了以下方法：

    pool = multiprocessing.Pool(2)

    try:
        for table_name in table_list:
            pool.apply_async(Processor(table_name, self.type, 
                self.properties).exec())
    except KeyboardInterrupt:
        pool.terminate()
    else:
        pool.close()
    pool.join()

但它按顺序处理每个表。我想要的是，如果有 10 个表并且池大小为 5，那么它应该首先启动 5 个线程。一旦其中一个完成，它应该选择下一个，然后是下一个，依此类推，直到所有这些都处理完毕。

如何在 Python 2.6 中做到这一点？

Answer 1

pool.apply_async(Processor(table_name, self.type, self.properties).exec())

立即调用.exec 你需要延迟所以改为传递.exec 函数：

pool.apply_async(Processor(table_name, self.type, self.properties).exec)

见apply_async(func[, args[, kwds[, callback]]])