任务期间的 Dask 进度

Question

使用 dask 数据框
df = dask.dataframe.from_pandas(df, npartitions=5) series = df.apply(func) future = client.compute(series) progress(future)

在 jupyter 笔记本中，我可以看到每个分区完成多少 apply() 调用的进度条（例如 2/5）。
dask 有没有办法报告每个分区内的进度？
类似于 tqdm progress_apply() 对于熊猫。

Answer 1

如果您的意思是，func() 的每次调用有多完整，那么不，Dask 无法知道这一点。 Dask调用运行在自己的python线程中的python函数（python线程不能被另一个线程中断），而Dask只知道调用是否完成。

您或许可以设想调用具有一些内部回调或其他报告系统的函数，但我认为我没有见过这样的事情。