Python 多处理和悲怆：导入错误答案

【问题标题】：Python multiprocessing & pathos: import errorPython 多处理和悲怆：导入错误
【发布时间】：2016-12-11 20:31:17
【问题描述】：

我正在使用多处理和 pathos 编写一些 python 代码。我编写了一个小测试程序来习惯使用多处理，它在我的本地机器上运行良好，但它拒绝在不同的集群上运行。

我收到以下错误：

Traceback (most recent call last):
  File "./multi.py", line 116, in <module>
    pool = pathos_multiprocessing.Pool(processes=pool_size,maxtasksperchild=1,)
  File "/usr/local/lib/python3.4/dist-packages/multiprocess/pool.py", line 150, in __init__
    self._setup_queues()
  File "/usr/local/lib/python3.4/dist-packages/multiprocess/pool.py", line 243, in _setup_queues
    self._inqueue = self._ctx.SimpleQueue()
  File "/usr/local/lib/python3.4/dist-packages/multiprocess/context.py", line 110, in SimpleQueue
    from .queues import SimpleQueue
  File "/usr/local/lib/python3.4/dist-packages/multiprocess/queues.py", line 22, in <module>
    import _multiprocess as _multiprocessing
ImportError: No module named '_multiprocess'

但是当我做一个

pip3 list

pathos 和 multiprocessing 模块都明显存在：

multiprocess (0.70.4)
nbconvert (4.2.0)
nbformat (4.0.1)
nose (1.3.1)
notebook (4.2.0)
numpy (1.10.4)
oauthlib (0.6.1)
pathos (0.2.0)

欢迎任何可能发生这种情况的好主意！

小测试代码是：

#! /usr/bin/env python3

import pathos.multiprocessing as mp
import os
import random

class Pool_set:
    def pool_fun(directory_name):
        cwd=os.getcwd()
        os.mkdir(str(directory_name))
        directory=os.path.join(cwd,str(directory_name))
        os.chdir(directory)
        os.system('{}'.format('sleep '+str(directory_name)))
        cwd2=os.getcwd()
        print(cwd2)
        test_file = open('test_file.out','w')
        test_file.write(cwd2)
        print("Finished in "+directory)
        os.chdir(cwd)

if __name__ == '__main__':


    config=[]
    pool_set = Pool_set
    for i in (random.sample(range(1,100),3)):
        config.append(i)

    pool_size = mp.cpu_count()
    pool = mp.Pool(processes=pool_size,maxtasksperchild=1,)

    pool_outputs = pool.map(pool_set.pool_fun,config)
    pool.close()
    pool.join()

【问题讨论】：

我可以毫无问题地运行您的程序。你能显示你输入的命令和完整的堆栈跟踪吗？
嘿 laike9m，包括完整的回溯。该脚本是可执行的，我只是将它作为 ./multi.py 运行。谢谢
我想不出为什么。你试过运行python3 multi.py吗？
与python3 multi.py 有同样的问题，不幸的是......

标签： python multiprocessing python-import pathos

【解决方案1】：

我是pathos 和multiprocess 的作者。我认为您找不到_multiprocess 的可能原因有两个。第一个也是迄今为止最常见的原因是您没有 C++ 编译器。 multiprocessing 需要一个 C++ 编译器，如果你在 Windows 上，你必须安装一个。请参阅：https://wiki.python.org/moin/WindowsCompilers。第二个是由于PATH/PYTHONPATH 的安装问题而找不到它，如果你弄乱了prefix 等，但这是极少数情况。

【讨论】：