模块内的 Julia 并行函数

Question

我在模块中有一个函数，我想在其中动态更改进程数 (addproc)。在我启动这些新过程之后，我想添加一个要在每个工作人员上执行的函数。但是，我在模块内部使用 @everywhere 定义此函数时遇到了困难。我只想在函数do_work 中生成这些新进程。我不想在导入/使用模块之前生成新进程（这对于多线程来说是一项理想的工作，但我的函数会执行大量 I/O，而我目前在 Julia 1.0 中遇到了段错误）。

这是我的问题的一个简单的工作示例。有没有办法在工作进程上定义foo（最好不调用@everywhere include("somefile_with_foo.jl")）

module Example

using Distributed

function do_work()
    total_procs = nprocs()
    # Make sure we have as many works are cores
    if total_procs < Sys.CPU_THREADS
        addprocs(Sys.CPU_THREADS - total_procs); 
    end

    @everywhere function foo(x::Integer)
        println(x)
    end

    remotecall(foo, 2, 2)

    while nprocs() > total_procs
        rmprocs(procs()[end])
    end
end
end

Answer 1

您不能在函数内使用@everywhere，因为该函数有自己的命名范围，而该范围在远程进程中不存在。

一个选项（在大多数情况下是推荐的方法）是在所有工作人员上加载module：

@everywhere using Example

现在您可以在远程工作人员上使用它的功能了。

但是，如果您真的希望能够定义和运行远程函数，您可以使用元编程将代码发送到远程进程。考虑下面我的 Julia 会议：

julia> using Distributed

julia> addprocs(1)
1-element Array{Int64,1}:
 2

julia> function do_work(w)
    f_foo = quote 
        function foo(x::Int64)
           println("hello ",x," from ",myid())
        end
    end
    Main.eval(f_foo)
    @fetchfrom w Main.eval(f_foo)
    @fetchfrom w foo(9999)
end
do_work (generic function with 1 method)

julia> do_work(2)
      From worker 2:    hello 9999 from 2