验证性能测试汇总报告

Question

我有基于 jMeter 的性能测试，即基于并发用户负载的结果。 在测试结束时，Jmeter 提供汇总报告，我们可以在其中看到平均响应时间、吞吐量等。这些都很好。

我想验证这些结果，并确信我执行的测试在我所做的配置方面是正确的，比如配置的用户数量、启动时间等。（从应用程序方面，我可以确认交易确实有效，我可以相信 jMeter 断言等，那不是我在看这里）..

我看到一篇关于在验证结果中应用 Little's Law 的精彩文章。 但我相信它是关于一个稳定的系统，就用户数量而言，以稳定的模式出现在服务器上并在整个系统中保持相同的负载等。（如果这里有错，请纠正我）

但一般来说，用户并发测试的设计方式是使负载像步进模式一样变化，如下图所示。

在这种情况下，利特尔定律是否仍然适用？ 或者有任何更好的机制来验证结果并对所执行的测试和结果产生信心，而不是由于测试设备施加的瓶颈。

谢谢

Answer 1

在绝大多数情况下，当您需要提出workload pattern 代表预期的系统使用情况时，您会应用利特尔定律来表示Load Testing。

对于像Stress Testing 或Spike Testing 这样的其他测试类型，由于工作量不同，坚持小定律没有多大意义。

关于结果验证，我的期望是企业对以下问题的答案感兴趣：

1. 系统是否能够处理预期负载（负载测试）
2. 系统可以支持的最大并发用户数是多少，以提供可接受的响应时间而没有错误（压力测试）。
3. 负载恢复正常后系统是否恢复
4. 系统如何处理突发的并发请求（峰值测试）
5. 系统是否能够长时间处理负载 (Soak testing)

查看Why ‘Normal’ Load Testing Isn’t Enough 文章，了解有关您可能希望应用于您的应用程序的不同性能测试子类型的更多信息。