批量发布Kafka对象

Question

我正在使用 KafkaProducer.send() 方法将记录发布到 Kafka。 这是一种异步方法。我的应用程序正在向 Kafka 发布大约 20k 条记录。成功发送大约 10k 条记录后很多次我得到超时异常。我增加了 batch.size 和 linger.ms 这减少了问题，但有时我仍然会遇到超时异常。 有没有办法一次只发送 10k 条记录，等待它们完成然后发送下一批？我不想通过使用 send.get() 使其同步，因为这会使其非常慢。 这是我得到的例外。

Error publishing object on partition 0 org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s)

Answer 1

您是否尝试将 retries=3 设置为生产者配置？
并且可能在记录到期的情况下，您不应该增加batch.size，而是减少它。