【问题标题】:python threadpool not waiting for process to endpython线程池不等待进程结束
【发布时间】:2017-04-26 16:10:22
【问题描述】:

我已经玩了一段时间的多处理,有些事情让我感到困惑。 我写了这个简单的代码来说明问题:

from multiprocessing.pool import ThreadPool #I import the packages needed
from time import sleep

def long_task(n): #a simple long task
    sleep(1)
    print str(n)+" task finished"


pool = ThreadPool(8) #define my threadpool

for x in xrange(10**7): #it could be a while loop too
    print x
    pool.apply_async(long_task, args=(x,))

在for 循环内,我希望我的代码等到8 个线程之一完成后再开始另一个线程,但是x 正在打印而没有任何中断。 为什么会这样?我如何得到我正在寻找的东西?这段代码优化了吗?

样本输出:

0
1
2
3
4
5
6
7
8
9
10
11
12
13
14

【问题讨论】:

  • 请提供示例输出。 print x 应该立即运行 10**7 次。 print str(n)+" task finished" 将在每批 8 个之间延迟一秒运行。
  • 是的。同样在计数到 10**7-1 时,我的答案中应该有一些表格的打印输出。

标签: python multithreading python-2.7 optimization threadpool


【解决方案1】:

您遇到的部分困惑是您正在尝试启动10**7 任务。为了实验,将其减少到一个合理的数字,比如30。您的输出现在将是

0
1
2
...
27
28
29

然后,大约一秒钟后,类似

2 task finished3 task finished
0 task finished1 task finished


5 task finished4 task finished6 task finished


7 task finished

文本将全部打乱,在我的情况下,换行符通常是分批打印的。这是因为对print 的调用未正确同步。下一批将在大约一秒钟后打印:

13 task finished
11 task finished9 task finished8 task finished12 task finished
10 task finished

第三批类似。最后一批将仅包含最后 6 个输出(24-30):

24 task finished
25 task finished
26 task finished
29 task finished27 task finished

28 task finished

要记住的是,任务会立即安排。这就是线程池的目的。这意味着它们只是被添加到稍后运行的列表中,这就是为什么您会立即看到x 的打印输出。正如您所料,这些任务实际上一次运行八个。实际上,第一批之后的任务是在线程可用时一个接一个地启动的,但是由于它们都花费几乎完全相同的时间,所以看起来好像它们是在批处理中运行的。

您可以设置一个实验,看看当一半任务需要 1 秒运行而一半需要 2 秒时会发生什么。虽然它们会按照您将它们添加到队列中的顺序立即启动,但 1 秒任务的线程可用速度是 2 秒任务线程的两倍。

【讨论】:

  • 不应该。如果您一次只运行 8 个,则为输入和输出创建数组应该没有问题。
  • 只是补充一下,您不应该使用ProcessPool 而不是ThreadPool,因为这个任务不是 I/O 密集型的,当然这可能不是您打算使用的这对于
  • @Liam this 帖子更详细地解释了何时使用 ThreadPool
猜你喜欢
  • 2013-12-03
  • 2012-07-13
  • 2021-11-03
  • 1970-01-01
  • 2018-11-25
  • 1970-01-01
  • 1970-01-01
  • 2013-02-03
相关资源
最近更新 更多