【问题标题】:How to consume messages from the beginning to a particular offset如何从头到尾消费消息到特定的偏移量
【发布时间】:2019-10-26 15:27:43
【问题描述】:

我有 kafka 中给定主题的分区编号和偏移编号之间的映射。我想使用 golang 从一开始就使用所有消息到那些特定的分区/偏移映射。简而言之,我想知道是否可以在 kafka 中消费消息从开始到特定偏移量。

我想知道是否有内置工具或库可以帮助我在开始实施之前做一些事情。

【问题讨论】:

标签: go apache-kafka confluent-platform sarama


【解决方案1】:

我将此作为答案发布,因为我有 99.9% 的人相信这是正确的 - 您不能在消费者上指定结束偏移量。消费者 API 支持 OOTB:

  1. 从头开始。
  2. 从任意位置开始。
  3. 从头开始。

请注意,没有指定范围的选项,但您可以自己轻松地做到这一点:只需从开头开始,当您阅读了所需的任意数量的消息(例如,您的最终偏移量)时停止。

参见the Official API中的Controlling Consumer Position部分

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-07-22
    • 1970-01-01
    • 2016-02-14
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多