Python 多处理：cPickle.PicklingError: Can't pickle <type 'instancemethod'> [重复]

Question

我正在尝试使用 python multiprocessing 模块来处理大量 url，我正在使用 multiprocessing.Pool 对象为其创建工作进程，如下所示。

from multiprocessing import Pool, TimeoutError, cpu_count

class MyClass:
    def square(self, x):
        return x*x

    @staticmethod
    def getNumbers():
        return range(10)

    def calculate(self):
        pool = Pool(processes=min(cpu_count(),8))
        results = [pool.apply(self.square,(i,)) for i in self.getNumbers()]
        pool.close()
        pool.join()
        for result in results:
            print result


if __name__ == '__main__':
    instance = MyClass()
    instance.calculate()

但是上面这段代码会导致如下酸洗错误：

Traceback (most recent call last):
  File "multi.py", line 24, in <module>
    instance.calculate()
  File "multi.py", line 15, in calculate
    results = [pool.apply(self.square,(i,)) for i in self.getNumbers()]
  File "/usr/lib/python2.7/multiprocessing/pool.py", line 244, in apply
    return self.apply_async(func, args, kwds).get()
  File "/usr/lib/python2.7/multiprocessing/pool.py", line 558, in get
    raise self._value
cPickle.PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed

注意 之前有人在 SO 上提出过类似的问题，但仍未得到解答：cPickle.PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed

EDIT给出了更好的示例代码示例

Answer 1

您不能使用 python 中的多处理包来腌制实例方法。实例方法未在酸洗documentation 中列出。

如果您不介意使用外部库，可以查看multiprocess，它是 python 多处理的直接替代品。 要使用该库，您需要执行以下操作：

• pip install multiprocess
• 将from multiprocessing import Pool, TimeoutError, cpu_count 替换为
  from multiprocess import Pool, TimeoutError, cpu_count

我已经在我的机器上测试了你的示例，它实际上是使用多进程执行的。