用于故障转移和恢复的最佳 Kafka Producer 选项

Question

我想微调 Producer 的 KafkaTemplate 选项，以尽可能优化地处理各种故障转移和恢复场景。

我们的KafkaProducerMessageHandler 在sync 模式下运行（即等待发送操作结果 - 请参阅： acks 下面）。 注意：这是在当前版本的 Kafka 中启用 ErrorChannel 报告所必需的。

以下是我选择的选项：

• acks = 1 （我们正在执行来自 Kafka 的基本确认 经纪人领导）
• retries = 10
• max.in.flight.requests.per.connection = 1 （如果达到错误状态，这将使消息保持有序）
• linger.ms = 1 （不确定这个或是否相关？）
• request.timeout.ms = 5000 （超时 5 秒，这将适用于重试 - 所以 总时间为 50 秒，在消息被视为失败并出现在错误通道之前）
• enable.idempotence = false （再次，不确定这个选项？）
• retry.backoff.ms = 100 （这是默认设置 - 再次值得一玩吗？）

这些价​​值观听起来如何？ 我有什么遗漏吗？

Answer 1

这是一篇关于 Kafka 生产者调优的旧帖子：http://ingest.tips/2015/07/19/tips-for-improving-performance-of-kafka-producer/

TLDR 版本：

注意“batch.size”和“linger.ms”参数。