【问题标题】:My kafka consumer produces non sequential data我的 kafka 消费者产生非顺序数据
【发布时间】:2023-04-03 12:47:02
【问题描述】:

我的问题是 - 在什么情况下 kafka 消费者会收到非顺序数据?

【问题讨论】:

    标签: apache-kafka kafka-consumer-api


    【解决方案1】:

    消息排序保证仅在一个分区内。如果您的消费者从多个分区中提取数据,则消息可能会出现乱序。

    参考:http://kafka.apache.org/documentation/#intro_guarantees

    【讨论】:

      【解决方案2】:

      Kafka 提供消息传递总线,它保证消息的顺序。这意味着您向主题提交消息的顺序;消费者将以相同的顺序轮询消息。

      现在你的情况,你需要检查

      • 生产者如何提交消息?
      • 如何处理消息重试?
      • 并按照@Robin Moffatt 的建议检查消费者

      【讨论】:

        猜你喜欢
        • 2018-12-18
        • 1970-01-01
        • 2015-03-25
        • 2018-07-12
        • 2019-05-09
        • 1970-01-01
        • 2017-11-03
        • 2019-01-15
        • 1970-01-01
        相关资源
        最近更新 更多