访问 Dask 中其他任务启动的任务结果

Question

我的应用程序要求我从其他任务中启动任务，如下所示

def a():
    # ... some computation ..

def b():
    # ... some computation ..

def c():
    client = get_client()
    a = client.submit(a)
    b = client.submit(b)

    [a,b] = client.gather([a,b])

    return a+b

client = get_client()
res = client.submit(c)

但是，我想访问中间结果 a 和 b（当调用 c 时），但只有 c 出现在 client.futures 中。

有没有办法告诉 dask 保留 a 和 b 的结果？

我尝试使用 Future.add_done_callback 方法，但它不适用于其他 submit 调用中的 submit 调用。

谢谢

Answer 1

您可能想查看 Dask 的协调原语，例如共享变量、队列和发布/订阅。 https://docs.dask.org/en/latest/futures.html#coordination-primitives