使用 ThreadPoolExecutor python 的内存泄漏

Question

我有一个获取一些 id 的进程，并基于这些 id，我从数据库中获取（熊猫）数据帧，经过一些处理后，数据帧使用 to_csv 存储到文件系统，然后使用 @ 删除数据帧987654321@.

数据帧的获取和处理是使用 ThreadPoolExecutor 完成的。

with futures.ThreadPoolExecutor(max_workers=number_of_workers) as executor:
  return list(executor.map(func, args))

func 是流程，args 是客户 ID。

尽管 del 和线程预计会结束，但我看到内存使用仍然存在，我的预感是数据帧仍然存在于内存中。

我怎样才能清理内存..??

PS：我也试过 gc...没用

Answer 1

在清理内存之前，你必须了解什么是累积的。

运行序列几十次并收集一个活跃的核心（例如，使用 gcore），或者确保您的“ulimit -c”值是这样的，您可以在进程终止时创建一个核心并运行序列在一个循环中直到它死亡。

当你有一个合适的内核时，用 chap 打开它，查看 (https://github.com/vmware/chap) 并从以下命令开始：

redirect on
summarize leaked
summarize used /sortby bytes

如果确实存在泄漏，就不再可访问的分配而言，summarize leaked 的结果会告诉您这一点。如果没有泄漏，summarize used /sortby bytes 的输出应该可以让您很好地了解下一步该往哪里看。

可能有一些与 pandas 相关的巨大缓冲区。您可以通过

找到它们

summarize used /minsize 100000

然后从那里跟随传入的边缘。如果您遇到困难，请发布摘要中的部分结果，我可能会让您摆脱困境。