如何将 1000 万条消息播种到 Kafka 中？答案

【问题标题】：How to seed 10 million messages into Kafka?如何将 1000 万条消息播种到 Kafka 中？
【发布时间】：2019-09-22 10:33:59
【问题描述】：

根据我对实时分析的要求，我必须将 1000 万条记录插入 Kafka，除此之外，我还必须编写自定义的消费者逻辑。但要满足这个要求，我如何在 3- 内将 1000 万条记录播种到 Kafka 中5分钟？

我们最好根据项目要求使用 Spring boot。请推荐

【问题讨论】：

【解决方案1】：

您可以尝试使用流集工具，它具有数据生成器功能。它快速生成数据。这也将帮助您使用连接器和消费者/生产者，事实上您也可以在这里进行一些处理和过滤，因此理想情况下几乎不需要编码，您就完成了。

【讨论】：

【解决方案2】：

几个选项：

kafka-connect-datagen，详见this article。
像kafkacat这样的命令行生产者：
```
seq 1 10000000 | kafkacat -b localhost:9092 -t testtopic -P
```
- 如需更真实的测试数据，请使用in conjunction with Mockaroo

【讨论】：

【解决方案3】：

您可以在 for 循环中创建一个简单的生产者和 produce。我做到了，它就像一个魅力。如果您不想产生 1 msg/sec，请不要忘记使用 .flush()...

【讨论】：