【发布时间】：2017-06-14 06:43:20
【问题描述】：
我用的是Flink的FlinkKafkaConsumer09，不知道kafka消费者的偏移量存储在哪里？
我在 Zookeeper 和 Kafka 的偏移主题中都找不到它们。 kafka-consumer-offset 工具也找不到。
这是由 Flink 内部处理的吗？
【问题讨论】：
【发布时间】：2017-06-14 06:43:20
【问题描述】：
Flink 并不仅仅依赖于 Kafka 的消费者组偏移量跟踪，而是在内部跟踪和检查这些偏移量。
Flink 使用来自 Kafka 主题的数据并使用 Flink 的分布式检查点机制定期检查点。如果失败，Flink 会从 checkpoint 目录恢复记录，之后会开始从 Kafka offset 读取数据。
在 Flink 中启用检查点以使用故障 Kafka 消费者非常重要。
您可以这样做。
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(5000); // checkpoint every 5000 msecs
【讨论】：
-
这正是我想要的。谢谢坦梅