你如何找到一段 Python 的 CPU 消耗？

Question

背景

我有一个 Django 应用程序，它在低负载下工作和响应非常好，但在像 100 个用户/秒这样的高负载下，它会消耗 100% 的 CPU，然后由于 CPU 不足而速度变慢。

问题：

• 分析应用程序可以让我花时间处理函数。
• 此时间会在高负载时增加。
• 消耗的时间可能是由于复杂的计算或等待 CPU。

那么，如何找到一段代码所消耗的 CPU 周期呢？

由于减少 CPU 消耗会增加响应时间。

• 我可能编写了非常高效的代码，需要增加更多的 CPU 能力

或

• 我可能有一些愚蠢的代码占用 CPU 并导致速度变慢？

更新

• 我正在使用 Jmeter 来分析我的 Web 应用程序，它为我提供了 2 个请求/秒的吞吐量。 [ 100 位用户]
• 100 个请求的平均时间为 36 秒，而 1 个请求的平均时间为 1.25 秒。

更多信息

• 配置 Nginx + Uwsgi 和 4 个工作人员
• 未使用数据库，使用来自 REST API 的响应
• 在第一次点击时，REST API 的响应被缓存，因此没有任何区别。
• 使用ujson 解析json。

很想知道：

• Python-Django 被这么多组织用于这么多大站点，那么一定有一些高端的调试/内存-CPU 分析工具。
• 我发现的所有这些都是执行分析的随意 sn-ps 代码。

Answer 1

您可以尝试将您的测试配置为缓慢上升，足够慢，以便您可以看到 CPU 逐渐增加，然后在您达到高 CPU 之前运行分析器。当 CPU 用尽时，尝试分析代码是没有意义的，因为此时一切都会变慢。事实上，您真的只需要相对较轻的负载就可以从分析器中获取有用的数据。

此外，通过逐渐增加负载，您将能够更好地了解 CPU 是否逐渐增加（表明 CPU 瓶颈）或 CPU 是否突然跳跃（表明可能是另一种类型的问题，即不一定会被更多 CPU 处理）。

尝试使用诸如 Cosntant Throughput Timer 之类的东西来调整请求的速度，这将防止 JMeter 跑题并导致系统过载。

Answer 2

结帐New Relic 以获得一些非常好的分析，他们有 django 特定的日志记录。