卡夫卡偏移卡在消费者组中

【问题标题】：Kafka offset is stuck in consumer group卡夫卡偏移卡在消费者组中
【发布时间】：2021-02-16 06:43:09
【问题描述】：

我正在运行这个 kafka 命令：

/opt/kafka_2.11/bin/kafka-consumer-groups.sh --bootstrap-server xxxxx:9092 \
  --describe --group flink-cg

结果是这样的：

TOPIC           PARTITION   CURRENT-OFFSET   LOG-END-OFFSET     LAG    
my_topic           0          481239571       484028280       2788709

尽管我的 flink 正在运行并且日志文件中没有错误，但偏移量仍然卡住。

如何检查我的偏移量是否正确？恐怕我的当前偏移量有错误的数字，所以值被卡住了。

【问题讨论】：

【解决方案1】：

Flink Job 正在运行的唯一事实并不一定意味着偏移量应该改变。这取决于您的作业的配置，但默认情况下仅在检查点提交偏移量，因此首先要检查的是您的作业是否正确检查点（可能您在检查点之间配置了很长时间）。

如果是，或者如果您启用了enable.auto.commit，那么您应该检查是否存在可能导致读取记录问题的某些运算符的背压。

如果您可以提供有关配置和作业本身的更多信息会更容易判断。

【讨论】：