尾部延迟和吞吐量

Question

我的理解是，尾部延迟是衡量系统启动的一组请求中响应时间的高百分比（第 95 位、第 99 位）的量度。

我的问题是尾部延迟如何与吞吐量相关，或者说，假设我以 100 请求/秒和 1000 请求/秒（具有统一的到达时间）为目标系统，第 95 个百分位为 100与 1000 req/sec 的第 95 个百分位数相比，req/sec 变化很大？

应该报告什么尾部延迟值？或以其他方式尾延迟与吞吐量无关，应在每个/几个目标吞吐量报告，即在我的情况下为 100 和 1000 请求/秒？

Answer 1

尾部延迟与吞吐量有关。您的问题与 QoS 情况密切相关（高优先级延迟关键型应用程序与低优先级尽力而为应用程序）。

此外，只有在系统满载时测试尾部延迟才有意义。