【问题标题】:benchmarking django apps对 Django 应用程序进行基准测试
【发布时间】:2010-10-19 09:17:51
【问题描述】:

我有兴趣随时测试我的 django 应用程序的性能,获取逐行性能数据的最佳方法是什么?

注意:谷歌搜索这会返回很多人对 django 本身进行基准测试。我不是在寻找 django 的基准,我正在尝试测试我正在编写的 django 应用程序的性能:)

谢谢!

编辑:我所说的“逐行”是指对各个函数、数据库调用等进行计时,以在非常精细的层面上找出瓶颈所在

【问题讨论】:

  • 请定义“逐行性能数据”
  • 对不起,我的意思是测量每行代码运行所需的时间,以及每个函数、数据库调用等的时间

标签: python django profiling


【解决方案1】:

这有两层。我们已经为我们的测试准备了大部分#1。我们即将开始 #2。

  1. Django 处于孤立状态。普通的 Django 单元测试在这里运行良好。创建一些循环遍历几个(少于 6 个)“典型”用例的测试。获取这个,发布那个,等等。收集计时数据。这不是真正的 Web 性能,但它是一个易于使用的测试场景,可用于调整。

  2. 您的整个网络堆栈。在这种情况下,您需要一个运行 Squid、Apache、Django、MySQL 等的常规服务器。您需要第二台计算机来充当客户端,通过 urllib2 运行您的网站,执行一些(少于 6 个)“典型”用例。获取这个,发布那个,等等。收集计时数据。这仍然不是“真正的”网络性能,因为它不是通过互联网实现的,但它与您在没有非常复杂的设置的情况下所获得的一样接近。

请注意,#2(端到端)包括大量缓存以提高性能。如果您的客户端脚本正在做类似的工作,那么缓存将非常有益。如果您的客户端脚本每次都做独特的事情,那么缓存的好处就会减少。

最难的部分是确定“典型”工作负载是什么。这不是功能测试,因此工作负载不必包括所有内容。此外,您的客户端运行的并发会话越多,它变得越慢。当您的测试客户端是处理过程中最慢的部分时,不要费力地尝试优化您的服务器。


编辑

如果“逐行”意味着“分析”,那么您必须运行 Python 分析器。

https://docs.python.org/library/profile.html

请注意,Django ORM 层中有大量缓存。因此,运行一个视图函数六次以获得一组有意义的测量值是不明智的。您必须运行一组“典型”操作,然后在配置文件中找到热点。

一般来说,您的应用程序很容易优化——您不应该做太多事情。您的视图函数应该很短并且没有处理可言。同样,您的表单和模型方法函数应该很短。

【讨论】:

  • 谢谢,我主要指的是数字 1...我怀疑 unittest 可能是答案!顺便说一句... S. Lott 你几乎回答了我发布的每一个问题,非常感谢 :) 我是一名大四学生,我在堆栈溢出方面学到了很多东西
【解决方案2】:

获取 Django 应用程序的性能数据(分析)的一种方法是使用 WSGI 中间件组件,例如 repoze.profile。

假设您在 Apache 中使用 mod_wsgi,您可以将 repoze.profile 插入到您的应用中,如下所示:

...
application = django.core.handlers.wsgi.WSGIHandler()
...
from repoze.profile.profiler import AccumulatingProfileMiddleware
application = AccumulatingProfileMiddleware(
    application,
    log_filename='/path/to/logs/profile.log',
    discard_first_request=True,
    flush_at_shutdown=True,
    path='/_profile'
)

现在您可以将浏览器指向 /_profile 以查看您的个人资料数据。当然,这不适用于 mod_python 或内部 Django 服务器。

【讨论】:

  • mod_python 有类似的东西吗?
  • 它只是调用标准的 Python 分析器(请参阅 docs.python.org/library/profile.html),所以可能有办法,但我敢肯定,由于 mod_python 已死,任何人都没有动力将其很好地打包。跨度>
  • 我还应该补充一点,再次查看输出后,它实际上不是逐行的性能数据。这是一个日志,记录了执行每个方法/函数所花费的时间,与逐行接近但并不完全相同。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-05-17
  • 2011-08-11
  • 1970-01-01
  • 1970-01-01
  • 2012-05-27
  • 2012-02-02
相关资源
最近更新 更多