多处理内存使用和扭曲/gevents

Question

所以我的...错误...应用程序执行以下操作：

• 在队列中收听“工作”
• 每台服务器产生大约 100 个工作人员（跨约 3 个服务器），每个工作人员都在队列中侦听
• 每个工作人员基本上都会做一些网络工作（ssh、snmp 等）（I/O 密集型），然后搅动输出（CPU 密集型）

我已经在multiprocessing 下工作了，而且效果很好。但是：每个工人使用的内存都比我想要的多（根据顶部，大约 30MB RES，450MB VIRT）。所以我有两个问题：

• 对我来说确定开销为何如此之高的最佳方法是什么？我猜 COW 运行得不太好......我可以使用哪些模块在多处理之前获取所有主线程内存的快照，以便我可以尝试减少初始占用空间？

• 鉴于我的大部分进程都受 CPU 限制，将我的代码移植到 gevent/twisted 是否有好处？我想利用每台服务器的双六核。

谢谢！

Answer 1

CPython 使用引用计数来实现所有 Python 对象的内存管理。它的工作方式是将每个 Python 对象表示为一个结构，并且每个结构中都有一个字段，给出引用计数。每当对对象进行新引用时，该字段中的引用计数就会增加。每当放弃对该对象的引用时，该字段中的引用计数就会减少。一旦引用计数为零，解释器就可以确定不再需要 Python 对象，并且可以释放分配给表示它的结构的内存。

很多事情都会改变对象的引用计数。将它传递给函数或将其分配给（局部或全局）变量或对象的属性将增加引用计数（许多其他操作也会增加）。与此相反，会减少引用计数：例如，从函数返回会减少所有局部变量的引用计数。

与您的问题相关的所有原因是它应该让您了解为什么您从fork() 得到的写时复制行为不会帮助您节省大量内存。几乎立即，CPython 运行时将访问大部分内存页面（内存写入时复制的基本单位考虑 - 通常为 4kB，可能更大）并将大量 2 替换为 3 或将 4 替换为 3 或其他任何内容。这将强制复制进程的大部分内存。

事件驱动系统可以帮助您同时执行许多 I/O 密集型任务。您仍然可以使用多个进程（至少使用 Twisted）来利用您拥有的额外 CPU 资源。单个事件驱动的进程可以完成所有必要的网络连接，然后将生成的数据交给工作进程，这些工作进程可以使用其余的 CPU。不过，您可以更精确地确定在这些额外进程中运行的代码。根据您的问题，我怀疑您认为您的工作人员不需要 已加载到“主”流程中的所有内容。使用 Twisted 的流程管理 API，他们不必在这些事情上花费任何内存。

Answer 2

有一个关于 Pycon 的精彩演讲，解释了 memory usage in python 的主题。半小时的时间绝对值得。

最重要的是，要真正了解使用了多少内存，您不应该查看最高输出，而应检查运行 100 个工作程序之前和之后您有多少可用内存。