我可以使用多少个生产者来写一个主题

Question

我有一个将消息放入 Kafka 主题的 Web 应用程序。这个应用程序有很多实例（200 个），每个实例都包含自己的 Kafka Producer。

问题：

1. 每个主题的生产者数量是否存在上限？
2. 生产者的数量是否会影响 Kafka 的性能？如果是，怎么做？
3. 生产者的最佳实践是什么？每个应用一个同步生产者、一个异步生产者还是自定义同步生产者池？

Answer 1

每个主题的生产者数量是否存在上限？

我知道的唯一限制是可用 IP 地址的数量。在您描述的应用程序中，您不太可能遇到任何实际限制。

Producer 数量会影响 Kafka 性能吗？如果是，怎么做？

不，所有其他条件都相同（流量、异步与同步（包括批量大小/时间限制）等）。

据推测，连接的某个地方存在一些开销，但它足够小，我从未注意到它。

什么是生产者最佳实践（每个应用程序一个同步生产者、异步生产者或自定义同步生产者池）

很大程度上取决于您的用例，我不清楚。在大多数情况下，异步 > 同步。如果您选择使用异步，那么您必须处理对生产者进行批处理的风险（即数据丢失），以及与为批处理建立足够的消息/等待批处理超时触发相关的延迟。如果您的用例要求足够高，那么这些延迟可能会很严重。