Python - 将线程转换为线程池？

Question

我有一个使用线程运行良好的现有脚本，但是我的事情列表越来越大，我需要限制实际使用的线程数，因为我正在杀死我的服务器.. . 所以我想在这个脚本中添加一个 Pool(100) ，但到目前为止我尝试的一切都失败了，并出现了错误代码。任何人都可以帮助添加一个简单的池吗？我一直在环顾四周，很多游泳池都非常复杂，我宁愿让它尽可能简单。请注意我删除了实际的“def work(item)”，因为这个脚本相当大。

import time, os, re, threading, subprocess, sys

mylist = open('list.txt', 'r')

class working (threading.Thread):
        def __init__(self, item):
                threading.Thread.__init__(self)
                self.item = item
        def run(self):
                work(self.item)

def work(item):
        <actual work that needs to be threaded>

threads = []
for l in mylist:
        work1 = l.strip()
        thread = working(work1)
        threads.append(thread)
        thread.start()
for t in threads: t.join()
mylist.close()

添加池时出现错误：

Process PoolWorker-10:
Traceback (most recent call last):
  File "/usr/lib64/python2.6/multiprocessing/process.py", line 232, in _bootstrap
    self.run()
  File "/usr/lib64/python2.6/multiprocessing/process.py", line 88, in run
    self._target(*self._args, **self._kwargs)
  File "/usr/lib64/python2.6/multiprocessing/pool.py", line 71, in worker
    put((job, i, result))
  File "/usr/lib64/python2.6/multiprocessing/queues.py", line 366, in put
    return send(obj)
UnpickleableError: Cannot pickle <type 'thread.lock'> objects

刚刚清除的新代码：

import time, os, re, threading, subprocess, sys
from multiprocessing.dummy import Pool as ThreadPool 

mylist = open('list.txt', 'r')

class working (threading.Thread):
        def __init__(self, item):
                threading.Thread.__init__(self)
                self.item = item
        def run(self):
                work(self.item)

def work(item):
        <actual work that needs to be threaded>

threads = []
for l in mylist:
        work1 = l.strip()
        pool = ThreadPool(10)
        pool.map(working, work1)
        pool.close()

Answer 1

Multiprocessing 是一个基于进程的高级并行包。要使用进程，您需要能够在进程之间发送数据，这就是错误消息告诉您的某些数据是不可能的（pickleable = transferable）。但是，如果您在以下位置阅读模块文档：

https://docs.python.org/2/library/multiprocessing.html#module-multiprocessing.dummy

你会发现提到了一个叫做 multiprocess.dummy 的东西。导入它，您将使用相同的界面，但使用线程而不是进程。这就是你想要的。

编辑：

花时间阅读多处理模块的规范。您正在做的是将单个线程对象的创建提交到池中。你想要的是提交要完成的工作和要完成工作的项目。 （概念上）正确的解决方案如下所示：

def work(item):
    item = item.strip()
    <actual work that needs to be threaded>

pool = ThreadPool(10)
results = pool.map(work, mylist)
pool.close() # don't think this is strictly necessary

您不向池提交线程，而是将工作交给池中包含的线程。这是一个更高层次的抽象。希望这可以解决问题。