【问题标题】:Kafka offsets and consumer group issueKafka 偏移量和消费者组问题
【发布时间】:2019-05-01 10:27:33
【问题描述】:

我的 Kafka 分区有 20 个偏移量。我有一个由 5 个消费者订阅的消费者组。 我的问题是,是否有可能确保消费者 1 读取前 5 个偏移量,成功读取后,消费者 2 将读取接下来的 5 个偏移量,依此类推?如果不可能,那么是否有任何开源工具/技术可以这样做?

【问题讨论】:

  • 我认为偏移量是指消息。您可以为主题设置多个分区,并且组中的每个使用者都从单独的分区中读取。您可以拥有自己的自定义逻辑来阻止其他消费者阅读,直到第一个消费者完成

标签: apache-kafka distributed-computing publish-subscribe distributed-transactions


【解决方案1】:

属于同一个消费者组的两个消费者不能从同一个分区中读取。如果只有一个partition,一个consumer会消耗掉所有的20个offset,剩下的consumer会一直处于空闲状态,直到添加一个新的partition。

【讨论】:

    猜你喜欢
    • 2019-06-10
    • 1970-01-01
    • 1970-01-01
    • 2020-06-11
    • 2018-12-17
    • 2020-05-31
    • 2020-03-22
    • 1970-01-01
    • 2018-02-03
    相关资源
    最近更新 更多