【问题标题】:Flume 1.7 & Kafka - How to restart at the beginning of the topic?Flume 1.7 & Kafka - 如何在主题开始时重新开始?
【发布时间】:2017-01-19 07:12:11
【问题描述】:

我正在使用 Flume 1.7 Kafka source 将数据从 Apache Kafka 提取到我的 AbstractSink。在过去,我可以通过使用./kafka-consumer-groups.sh --delete 删除主题偏移量来重新启动主题开头的偏移量,但由于 Flume 1.7(显然)使用“新”消费者,现在尝试 ./kafka-consumer-groups.sh --delete 会给出以下错误消息:

选项 [delete] 对 [new-consumer] 无效。请注意,没有 需要按原样删除新消费者的组元数据 最后一个成员离开时自动删除

那么,实现期望行为的推荐方法是什么(即我们将从主题开始重新处理数据)?

这是我的水槽配置的一部分:

myagent.sources.my-kafka-source.type = org.apache.flume.source.kafka.KafkaSource
myagent.sources.my-kafka-source.kafka.bootstrap.servers = kafka.example.net:9092
myagent.sources.my-kafka-source.kafka.consumer.group.id = my-gid
myagent.sources.my-kafka-source.kafka.topics = my.topic
myagent.sources.my-kafka-source.kafka.auto.offset.reset = earliest
myagent.sources.my-kafka-source.channels = my_channel

【问题讨论】:

    标签: apache-kafka flume


    【解决方案1】:

    Flume 不提供对倒带功能的直接支持,尽管 kafka 附带 KafkaConsumer#seek 允许您重新使用消息。看来您必须使用新的组 id 来执行此操作,这需要重新启动 Flume 代理。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2017-03-14
      • 2018-09-24
      • 1970-01-01
      • 2019-04-05
      • 1970-01-01
      • 2020-07-18
      • 2016-09-04
      • 2017-04-11
      相关资源
      最近更新 更多