多进程一个在python中调用另一个函数的函数

Question

我正在尝试加速一个 Python 程序，我说有一个线程总是在运行，它扫描来自外部资源的输入，当它得到一些东西时，它会调用另一个函数来解析输入数据和返回一个可以理解的信息（解析函数也使用其他函数）。

scanning() 函数的简单模型

def scanning(x):
    alpha = GetSomething(x)
    if alpha != 0:
        print Parsing(alpha)

所以我的想法是把这个线程转换成一个与主进程并行运行的进程，当它得到一些东西时，它会使用一个队列将它发送到主进程，然后主进程应该调用解析函数。

我的问题是：是否可以保持scanning()函数原样并在进程中使用它（即使它调用其他函数）？

如果不是，为了方便与multiprocessing 模块一起使用，需要对scanning() 函数的结构进行哪些修改？

在 Python 中多处理调用其他函数的函数的正确方法是什么？

Answer 1

简短回答：是的，有可能。

要了解原因，您需要了解关于多处理的一件事。它不会将multiprocessing-invoked 函数移除到一个单独的进程中：它会创建您的整个进程的完整副本：包括它的代码、加载的模块以及之前已初始化的任何全局数据 你分叉了你的进程。

因此，如果您的代码定义了一些子函数，它们将在您的函数被拆分为一个单独的进程后与任何已预初始化的数据一起提供给您的函数。对主进程的值、函数和命名空间的任何修改在派生进程之后都不会影响派生进程 - 您需要使用特殊工具在进程之间进行通信。

所以，假设您有以下抽象代码：

import SomeModule
define SomeFunction()
assign SomeValue

define ChildProcess():
    call SomeFunction()
    increase SomeValue
    do ChildProcessStuff

start ChildProcess()
decrease SomeValue
do MainProcessStuff

对于主进程和衍生进程，您的代码执行相同，直到行 start ChildProcess()。在此行之后，您的流程分为两个起初完全相同，但执行点不同。主进程越过这条线并直接进入do MainProcessStuff，而您的子进程永远不会到达那条线。相反，它会创建整个命名空间的副本并开始执行 ChildProcess()，就好像它像普通函数一样被调用，后跟 exit()。

注意主进程和子进程如何访问SomeValue。还要注意它们对它的更改是如何独立的，因为它们是在不同的命名空间中进行的（因此对不同的SomeValues）。 threading 模块不会拆分命名空间，这是一个重要的区别。

另外请注意，主进程从不执行ChildProcess 中的代码，但它保留了对它的引用，可用于跟踪其进度、提前终止等。

您可能还对有关 Python 线程和进程的更深入信息感兴趣here。