随机有效消息的Kafka消息发布失败，如何解决这个问题？

Question

我们在我们的应用程序中使用了kafka，我们发送了太多消息，每条消息都很小，我的意思是消息大小不是问题，如果您尝试向kafka主题发布太多消息，他们有什么问题吗某些消息未能发布？

"Publishing error messages to kafka topic failed400 "

我们可以设置他们的任何 kafka 配置，以便我们可以克服这个问题吗？

注意：调用太多，我的意思是一个发送方法调用，一个消息。

如上所述，每条消息都不是太大，下面给出示例

{
    "error_details": [
        {
            "error_number": "123",
            "error_message": "how are you",
            "error_sequence": "12345"
        },
        {
            "error_number": "123",
            "error_message": "how are you",
            "error_sequence": "12345"
        },
        {
            "error_number": "123",
            "error_message": "how are you",
            "error_sequence": "12345"
        },
        {
            "error_number": "123",
            "error_message": "how are you",
            "error_sequence": "12345"
        }

    ]
}

这是最大尺寸

Answer 1

你没有说你的消息有多大，但我会尝试增加 linger.ms

linger.ms 是生产者等待查看是否发送另一条消息的毫秒数。如果在该时间内发送了另一条消息，则两条消息将在一次调用中进行批处理。这可能对您的情况有所帮助。

batch.size 设置给出了一批消息的最大大小。即使延迟持续时间仍然有效，达到大于 batch.size 的组合消息大小也会立即发送批处理。

只是不要将 linger.ms 设置得太高。在达到该持续时间结束之前不会发送任何内容，除非批处理消息一起超过 batch.size