使用 kafka-consumer-perf-test.sh 在 Kafka 中进行性能测试失败答案

【问题标题】：Performance test fails in Kafka with kafka-consumer-perf-test.sh使用 kafka-consumer-perf-test.sh 在 Kafka 中进行性能测试失败
【发布时间】：2020-04-09 08:13:27
【问题描述】：

尝试用kafka-consumer-perf-test.sh在Kafka中做性能测试，总是报如下错误：

警告：在使用预期数量的消息之前退出：超过超时（100000 毫秒）。您可以使用 --timeout 选项来增加超时时间。

我的命令：

./kafka-consumer-perf-test.sh --topic perf_test --broker-list $myhost:9092 --messages 10000000 --threads 2 --print-metrics --show-detailed-stats

【问题讨论】：

你有没有为这个话题发信息？
我已经为这个主题制作了消息。

标签： apache-kafka performance-testing

【解决方案1】：

为避免此类警告，在运行此命令之前，您必须至少生成 10000000 条该主题的消息。

【讨论】：

我已经产生了 10000000 条消息。我运行了生产者性能测试，而不是消费者性能测试

【解决方案2】：

这可能有两个原因：

由于过载，您的 Kafka 实例无法在 100 秒内使用 2 个线程消耗 10000000 条消息。您可以考虑：
- monitoring your Kafka instance 看看幕后发生了什么
- 阅读器线程数增加
- 增加超时
您尝试阅读的主题中没有消息，并且阅读器尝试使用预期数量的消息并在 1 分 40 秒后失败/退出

您可能也有兴趣使用专用的负载测试工具，即Apache JMeter，它不支持 Kafka 负载测试，但可以通过Pepper-Box 插件启用。查看Apache Kafka - How to Load Test with JMeter 文章了解详情。

使用负载测试工具，您将提供更多信息，您将能够看到tables/charts 的性能指标，允许将负载增加与主题排队或代理资源消耗中消息数量的增加相关联

【讨论】：