无法使用 setParseAction() 方法腌制 Pyparsing 表达式。需要多处理

Question

我最初的问题是我正在尝试执行以下操作：

def submit_decoder_process(decoder, input_line):
    decoder.process_line(input_line)
    return decoder

self.pool = Pool(processes=num_of_processes)
self.pool.apply_async(submit_decoder_process, [decoder, input_line]).get()

decoder 在这里描述起来有点牵强，但重要的是，decoder 是一个使用调用 setParseAction() 的 PyParsing 表达式初始化的对象。这使多处理使用的泡菜失败，这反过来又使上述代码失败。

现在，这是我分离和简化的 pickle/PyParsing 问题。 由于 pickle 失败，以下代码会产生错误消息。

import pickle
from pyparsing import *

def my_pa_func():
    pass

pickle.dumps(Word(nums).setParseAction(my_pa_func))

错误信息：

pickle.PicklingError: Can't pickle <function wrapper at 0x00000000026534A8>: it's not found as pyparsing.wrapper

现在，如果您删除调用 .setParseAction(my_pa_func)，它将毫无问题地工作：

pickle.dumps(Word(nums))

我怎样才能绕过它？多处理使用泡菜，所以我想我无法避免它。据称使用 dill 的 pathos 包还不够成熟，至少，我在 Windows-64 位上安装它时遇到问题。我真的在这里摸不着头脑。

Answer 1

https://docs.python.org/2/library/pickle.html#what-can-be-pickled-and-unpickled

multiprocessing.Pool 使用 Pickle 的协议来序列化通过管道传递给子进程的函数和模块名称（在您的示例中为 setParseAction 和 pyparse）。

子进程，一旦接收到它们，它就会导入模块并尝试调用函数。问题是您传递的不是函数而是方法。为了解决这个问题，Pickle 协议应该足够聪明，用 'user' 参数构建 'Word' 对象，然后调用 setParseAction 方法。由于处理这些情况过于复杂，Pickle 协议会阻止您序列化非顶级函数。

要解决您的问题，您可以指示 Pickle 的模块如何序列化 setParseAction 方法 (https://docs.python.org/2/library/pickle.html#pickle-protocol)，或者重构您的代码，使传递给 Pool.apply_async 的内容可序列化。

如果将 Word 对象传递给子进程并让它调用 Word().setParseAction() 会怎样？

Answer 2

好的，这是由rocksportrocker启发的解决方案：Python multiprocessing pickling error

这个想法是在进程之间来回传递时对无法腌制的对象进行挖取，然后在传递之后“取消挖取”它：

from multiprocessing import Pool
import dill

def submit_decoder_process(decoder_dill, input_line):
    decoder = dill.loads(decoder_dill)  # undill after it was passed to a pool process
    decoder.process_line(input_line)
    return dill.dumps(decoder)  # dill before passing back to parent process

self.pool = Pool(processes=num_of_processes)

# Dill before sending to a pool process
decoder_processed = dill.loads(self.pool.apply_async(submit_decoder_process, [dill.dumps(decoder), input_line]).get())

Answer 3

我建议pathos.multiprocessing，正如你提到的。当然，我是pathos 作者，所以我想这并不奇怪。看来您可能遇到了distutils 错误，如下所示：https://github.com/uqfoundation/pathos/issues/49。

您使用dill 的解决方案是一个很好的解决方法。您也可以放弃安装整个pathos 包，而只需安装multiprocessing 包的pathos fork（它使用dill 而不是pickle）。你可以在这里找到它：http://dev.danse.us/packages 或在这里：https://github.com/uqfoundation/pathos/tree/master/external，