在自动化测试期间跟踪性能的工具答案

【问题标题】：Tools to track performance during automation testing在自动化测试期间跟踪性能的工具
【发布时间】：2018-02-16 21:06:02
【问题描述】：

是否有任何工具可以跟踪定制软件的性能？

我所说的性能不是指 CPU 或内存的使用，而是在自动化测试期间执行特定操作。

例如，

测试 - 2018 年 2 月 13 日
读取数据库 - 1000000 行 - 2 分钟
修改数据库 - 1000000 行 - 30 分钟

测试 - 2018 年 2 月 15 日
读取数据库 - 1000000 行 - 3 分钟
修改数据库 - 1000000 行 - 50 分钟

该工具应通知某些操作的完成时间是否超过平均水平，并提供统计数据、图形、分析以及性能如何变化。

我查看了测试管理系统 - TestLink、TestRail、Zephyr，但没有找到类似的东西。我不是在寻找监控工具，我在寻找分析工具。

【问题讨论】：

上述测试管理工具没有提供这样的功能（老实说，我认为任何测试管理工具都没有提供。我可能错了）。我建议您做的是找到一个可以获取这些值的工具，将它们与一系列值进行比较，如果找不到，则标记为失败。

【解决方案1】：

我有一组 SoapUI 测试，我针对每个构建运行这些测试以监控一段时间内的性能。

我运行测试并将输出粘贴到 Excel 中。我的电子表格包含所有以前的结果，然后我可以使用它们来查看趋势和统计数据。

【讨论】：

【解决方案2】：

Dynatrace 可以监控数据库访问的性能和其他特定于应用程序的指标。

如documentation 中所述，测量可以作为单元测试框架（如 JUnit）和 GUI 自动化工具（如 Selenium、Squish 等）的一部分运行。

【讨论】：

【解决方案3】：

如果您没有任何工具，例如 SoapUI 或 JMeter，那么您可以使用您熟悉的任何语言“编写”您自己的测试。我以前使用 Java 编写测试来检查数据库性能，并且与我的其他答案一样，使用 Excel 来管理一段时间内的结果。

【讨论】：

【解决方案4】：

我建议使用 Jmeter 或 SoapUI 进行性能测量。可以在每次测试结束时设置断言。测试的实际结果将与预期结果进行比较，并据此将测试用例标记为通过或失败。您还可以将 TestRail 与 Jmeter 集成，并将测试结果发布到 TestRail。

【讨论】：