很少有 kafka 分区没有分配给任何 flink 消费者答案

【问题标题】：Few kafka partitions are not getting assigned to any flink consumer很少有 kafka 分区没有分配给任何 flink 消费者
【发布时间】：2020-12-26 04:14:56
【问题描述】：

我有一个包含 15 个分区 [0-14] 的 kafka 主题，并且我正在运行具有 5 个并行度的 flink。所以理想情况下，每个并行的 flink 消费者每个应该消耗 3 个分区。但即使在多次重启后，很少有 kafka 分区没有被任何 flink worker 订阅。

org.apache.kafka.clients.consumer.KafkaConsumer assign  Subscribed to partition(s): topic_name-13, topic_name-8, topic_name-9
org.apache.kafka.clients.consumer.KafkaConsumer assign  Subscribed to partition(s): topic_name-11, topic_name-12, topic_name-13
org.apache.kafka.clients.consumer.KafkaConsumer assign  Subscribed to partition(s): topic_name-14, topic_name-0, topic_name-10
org.apache.kafka.clients.consumer.KafkaConsumer assign  Subscribed to partition(s): topic_name-5, topic_name-6, topic_name-10
org.apache.kafka.clients.consumer.KafkaConsumer assign  Subscribed to partition(s): topic_name-2, topic_name-3, topic_name-7

从上面的日志可以看出，分区10和13已经被2个消费者订阅了，分区1和4根本没有订阅。

注意：如果我以 1 个并行度开始作业，则作业运行良好。

Flink 版本：1.3.3

【问题讨论】：

您确定所有任务之间设置了相同的组ID吗？
是的，组 ID 相同。我什至尝试将其更改为新的组 ID，但这也没有帮助

标签： java apache-kafka apache-flink

【解决方案1】：

这听起来像https://issues.apache.org/jira/browse/FLINK-7143。

仔细阅读 Jira 票证和拉取请求 (https://github.com/apache/flink/pull/4301) 中的详细信息，听起来如果您使用的是 Flink 1.3.x，则只有重新启动才能从此错误修复中受益。从保存点重新启动不足以从修复中受益。

【讨论】：