【发布时间】:2017-01-19 07:12:11
【问题描述】:
我正在使用 Flume 1.7 Kafka source 将数据从 Apache Kafka 提取到我的 AbstractSink。在过去,我可以通过使用./kafka-consumer-groups.sh --delete 删除主题偏移量来重新启动主题开头的偏移量,但由于 Flume 1.7(显然)使用“新”消费者,现在尝试 ./kafka-consumer-groups.sh --delete 会给出以下错误消息:
选项 [delete] 对 [new-consumer] 无效。请注意,没有 需要按原样删除新消费者的组元数据 最后一个成员离开时自动删除
那么,实现期望行为的推荐方法是什么(即我们将从主题开始重新处理数据)?
这是我的水槽配置的一部分:
myagent.sources.my-kafka-source.type = org.apache.flume.source.kafka.KafkaSource
myagent.sources.my-kafka-source.kafka.bootstrap.servers = kafka.example.net:9092
myagent.sources.my-kafka-source.kafka.consumer.group.id = my-gid
myagent.sources.my-kafka-source.kafka.topics = my.topic
myagent.sources.my-kafka-source.kafka.auto.offset.reset = earliest
myagent.sources.my-kafka-source.channels = my_channel
【问题讨论】:
标签: apache-kafka flume