使用 psycopg2 执行大型查询

Question

我正在尝试执行一个大型选择查询（大约 50 000 000 行，200 000 000 行，15 列）并使用 psycopg2 将所有这些数据提取到 pandas 数据框。在 pgadmin 服务器状态工具中，我可以看到，我的查询活跃了大约半小时，然后变得空闲。我读到这意味着服务器正在等待新命令。另一方面，我的 python 脚本仍然没有数据，它也在等待它们（没有错误，看起来数据正在下载）。

总结一下，数据库在等，python在等，我还要等吗？有幸福结局的机会吗？还是 python 无法处理大量的 od 数据？

Answer 1

天哪，蝙蝠侠！如果您的查询需要超过几分钟的时间来执行，您应该考虑一种不同的方式来处理您的数据！如果您返回 200 000 000 行 15 个单字节列，这已经是 3 GB 的原始数据，假设没有一个字节的开销，这是不太可能的。如果这些列是 64 位整数，则已经是 24 GB。 Python 需要处理大量内存中的数据。

您是否考虑过如果您的进程在执行过程中失败或连接中断会发生什么？如果您的流程可能，您的程序将受益于分块处理数据行。如果确实不可能，请考虑对数据库本身进行操作的方法，例如使用 PL/pgSQL。