kafka最好的同步生产者响应时间是多少

Question

我们已经设置了一个三节点 kafka 集群并创建了一个复制因子为 3 的主题。我们正在向该集群生成数据，并且我们看到一些消息花费了超过 50 毫秒。经过进一步分析，我们发现由于我们将 producer.acks 设置为 all，因此从 broker 获得响应存在延迟。

在将num.replica.fetchers 从 1 增加到 4 时，我们看到了一些改进。但也有每 150 条消息，1 条消息超过 50 毫秒，我们正在使用同步生产者。但是当num.replica.fetchers为1时，每100条消息，就有1条消息超过50ms。

我们每分钟向集群生成 50 万条消息。

我们的机器配置：

RAM: 8 GB
Hard disk type: HDD
No. of processors: 32

这是否是kafka producer的优化时间？我们是否需要调整任何属性以获得最小延迟。

另外，如果我们有producer.acks，那么最好的最短生产时间是多少。

Answer 1

理论上，您可以尝试压缩或减少批量大小以使请求大小更小，从而更快

我并不认为需要将 acks 设置为 all。

您可以将复制因子设置为 3，将同步副本中的最小值设置为 2，然后将 acks 设置为 1，如果代理出现故障，您将很有可能不会丢失任何数据。

另一种解决方案是在代理或与它们物理连接到同一交换机的机器上运行生产者代码，以减少网络延迟。