Python 多处理 Pool.imap 抛出 ValueError: list.remove(x): x not in list

Question

我有一个非常简单的测试夹具，可以在不同的线程中实例化和关闭一个测试类“APMSim”，该类不可提取，所以我必须使用多处理 Pool.imap 来避免它们在进程之间传输：

class APMSimFixture(TestCase):

    def setUp(self):
        self.pool = multiprocessing.Pool()
        self.sims = self.pool.imap(
            apmSimUp,
            range(numCores)
        )

    def tearDown(self):
        self.pool.map(
            simDown,
            self.sims
        )

    def test_empty(self):
        pass

但是，当我运行空的 Python unittest 时，我遇到了以下错误：

Error
Traceback (most recent call last):
  File "/home/peng/git/datapassport/spookystuff/mav/pyspookystuff_test/mav/__init__.py", line 87, in tearDown
    self.sims
  File "/usr/lib/python2.7/multiprocessing/pool.py", line 251, in map
    return self.map_async(func, iterable, chunksize).get()
  File "/usr/lib/python2.7/multiprocessing/pool.py", line 567, in get
    raise self._value

为什么会发生这种情况？有解决办法吗？

Answer 1

multiprocessing 正在从父进程中的工作函数/子进程重新引发异常，但它在从子进程到父进程的传输中丢失了回溯。检查你的工作函数，是那个代码出错了。采用您的工作人员功能并进行更改可能会有所帮助：

def apmSimUp(...):
    ... body ...

到：

import traceback

def apmSimUp(...):
    try:
        ... body ...
    except:
        traceback.print_exc()
        raise

这会显式打印完整的原始异常回溯（然后让它正常传播），因此您可以看到真正的问题是什么。