Dask Worker 进程内存不断增长答案

【问题标题】：Dask Worker Process Memory Keeps GrowingDask Worker 进程内存不断增长
【发布时间】：2018-09-17 01:56:37
【问题描述】：

我正在一个 dask 分布式、tensorflow、keras 设置上优化 ML 模型。工作进程在内存中不断增长。

Tensorflow 使用 25 个节点的 CPU。每个节点大约有 3 个工作进程。

每个任务大约需要 20 秒。

我不想每次内存满时都重新启动，因为这会使操作停止一段时间，造成延迟。

我在 .gather() 之后使用 client.cancel() 但没有效果。我在任务中执行 gc.collect() 但也没有效果。

唯一的解决办法是重启工作进程。

有人有其他解决方案吗？

Dask 分布式版本：1.21.1 蟒蛇：3.6.3 张量流：1.7 Keras：2.1.5

【问题讨论】：

【解决方案1】：

需要清除 Keras (Tensorflow)。

from keras import backend as K
K.clear_session()

【讨论】：