使用 JMeter 开发 Apache Kafka 生产者和负载测试答案

【问题标题】：Develop Apache Kafka producer and load testing using JMeter使用 JMeter 开发 Apache Kafka 生产者和负载测试
【发布时间】：2018-08-25 03:27:50
【问题描述】：

是否可以使用 JMeter 将消息推送到 Apache Kafka。

如何实现生产者（在 JAVA 中）将消息推送到 Kafka。

问候，阿南德

【问题讨论】：

对于非 JMeter 选项，请参阅：github.com/mnogu/gatling-kafka

标签： jmeter apache-kafka

【解决方案1】：

我之前以为有答案，也许没有。你看过这些吗？我自己使用的是原始的 kafkameter。

以及关于kafkameter的教程：

为了在 JMeter 之外使用，我发现用 ruby、python 或 node.js 编写生产者加载工具比用 Java 更容易。但这是个人喜好。负载可伸缩性是另一回事，但其他语言更容易制作出生产者工具的原型。

更新：

自从最初的帖子以来，JMeter 现在有了另一个解决方案/选项：

https://github.com/GSLabDev/pepper-box

而不是发布有关它的特定教程，您最好搜索一些混合术语，例如“Pepper-Box kafka jmeter”，并查看教程结果，因为有很多。 BlazeMeter 的应该不错。

【讨论】：

可能有用dzone.com/articles/apache-kafka-load-testing-using-jmeter

【解决方案2】：

是的，您可以使用上面@David 提供的上述外部库来使用Jmeter。补充一点，我建议您为消费者和生产者使用两个不同的程序，以便您可以更好地控制正在发生的事情。例如根据您的要求优化和更改配置中的属性文件。尽管JMeter 在loadtesting 上听起来很容易，但我不确定您是否能够识别消息消费或生产的效率，例如识别在一定时期内发布或消费的消息数量（即：如果您正在处理大量消息）。

doc 和this 中给出的Kafka Produce Sample

【讨论】：

好点。 kafkameter 插件也不提供对生成的消息的验证，因此必须从外部验证或修改插件。 JMeter 只会报告来自 kafkameter 的发送速率，但这可能不等于 kafka 服务器端的接收和处理速率。然后是加载消息的单独消费。