【问题标题】:Kafka consumer startup delay confluent dotnetKafka消费者启动延迟融合dotnet
【发布时间】:2018-01-24 23:37:47
【问题描述】:

当启动一个 confluent-dotnet 消费者时,在调用订阅和随后的轮询之后,似乎需要很长时间才能从服务器接收“分区分配”事件,因此消息(大约 10-15 秒) .

一开始我以为有自动创建主题的开销,但是无论消费者的主题/消费者组是否已经存在,时间都是一样的。

我使用这个配置启动我的消费者,其余代码与融合高级消费者示例中的相同:

            var kafkaConfig = new Dictionary<string, object>
        {
            {"group.id", config.ConsumerGroup},
            {"statistics.interval.ms", 60000},
            {"fetch.wait.max.ms", 10},
            {"bootstrap.servers", config.BrokerList},
            {"enable.auto.commit", config.AutoCommit},
            {"socket.blocking.max.ms",1},
            {"fetch.error.backoff.ms",1 },
            {"socket.nagle.disable",true },
            {"auto.commit.interval.ms", 5000},

            {
                "default.topic.config", new Dictionary<string, object>()
                {
                    {"auto.offset.reset", "smallest"}
                }
            }
        };

kafka 集群由远程数据中心中的 3 台中低规格机器组成,具有默认设置。 是否可以调整代理或客户端设置以缩短此启动时间?

编辑:使用 Assign 而不是 Subscribe 自己分配分区会导致启动时间约为 2 秒

【问题讨论】:

    标签: c# apache-kafka kafka-consumer-api confluent-platform


    【解决方案1】:

    Kafka 消费者按设计分组工作 - 您看到的延迟是组协调器(驻留在集群上,而不是客户端)等待任何现有/以前的会话超时并允许任何额外的在将分区分配给所有具有活动连接的消费者之前启动同一组中的消费者。

    事实上,如果您足够快地重新启动测试使用者,您会看到延迟跳到近 30 秒,因为 session.timeout.ms 的默认值是 30000,而集群仍然没有“注意到”之前的消费者已经离开,直到此超时开始。此外,如果您在重新启动之间更改 group.id,您会看到延迟急剧下降,因为集群不会等待属于不同组的现有消费者。

    最后,在再次启动之前尝试干净地退出您的消费者(调用 Unsubscribe() 并确保消费者已被释放)。

    似乎session.timeout.ms 可以降低到 6000 以减少任何现有消费者组连接的超时,但不能降低。

    即使一切都开始“干净”,看起来您仍然会延迟长达 7 秒(我猜是标准连接设置加上等待同一组中的任何其他消费者开始)。如果您使用 Assign() 而不是 Subscribe(),那么您选择自己将分区分配给您的使用者,自动组平衡不适用。

    【讨论】:

    • 我在每次测试开始时更改 groupId,并始终正确处理。我理解您所说的,但是对于一个新的独特消费者群体(在这种情况下,您的部分答案不适用)我仍然不明白为什么需要这么长时间
    • 好的,可能值得向here 询问明确的答案,以防它出现错误。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-08-29
    • 1970-01-01
    • 1970-01-01
    • 2020-04-02
    • 2019-06-21
    • 2018-06-08
    相关资源
    最近更新 更多