Dask 与 Channels 和内存使用共享期货

Question

我正在使用此处描述的 dask 功能“Shared Futures With Channels”。

如文档中所述，我设法提交期货并将其添加到频道中。然后从另一个客户那里，我设法穿越未来并从他们那里得到结果。

在我的用例中，可以将大量期货加载到通道中。 当我查看调度程序时，我发现内存使用量甚至在增长，即使在那之后我也得到了结果。

有没有办法从频道中卸载期货？

Answer 1

截至 2017 年 1 月，没有机制可以从频道中清除特定期货，但可能会添加此机制。您可能想提出问题here。

您也可以考虑使用maxlen= 参数创建一个具有最大长度的通道

chan = Channel('my-channel', maxlen=100)

您需要在第一次创建频道时执行此操作。