使用 feedparser 的 Python 程序会随着时间的推移而变慢 [关闭]

Question

我有一个循环运行的 Python 程序，它使用 feedparser 下载 20k RSS 提要，并将提要数据插入 RDBMS。

我观察到它从每分钟 20-30 次喂食开始，然后逐渐减慢。几个小时后，每小时喂食 4-5 次。如果我杀死程序并从它离开的地方重新启动，吞吐量再次是每分钟 20-30 次。

当然不是 MySQL 变慢了。

该计划可能存在哪些潜在问题？

Answer 1

问题很可能与记忆有关。您可能将提要保存在内存中，或者以某种方式积累了没有被垃圾收集的内存。诊断：

1. 查看任务的大小（如果是 Windows，则为任务管理器，如果是 unix/Linux，则为顶部）并随着提要的增长对其进行监控。
2. 然后您可以使用内存分析器来确定究竟是什么消耗了内存
3. 一旦你发现你可以编写不同的代码

一些提示：

1. 将任何相关的未使用数据结构设置为空后，执行显式垃圾回收调用 (gc.collect())
2. 使用多处理方案，生成多个进程，每个进程处理较少数量的提要
3. 如果您使用的是 32 位系统，可能会继续使用 64 位系统

关于内存分析器的一些建议：

1. https://pypi.python.org/pypi/memory_profiler 这个挺好的，装修师傅也很热心
2. https://stackoverflow.com/a/110826/559095