【发布时间】:2018-01-24 23:37:47
【问题描述】:
当启动一个 confluent-dotnet 消费者时,在调用订阅和随后的轮询之后,似乎需要很长时间才能从服务器接收“分区分配”事件,因此消息(大约 10-15 秒) .
一开始我以为有自动创建主题的开销,但是无论消费者的主题/消费者组是否已经存在,时间都是一样的。
我使用这个配置启动我的消费者,其余代码与融合高级消费者示例中的相同:
var kafkaConfig = new Dictionary<string, object>
{
{"group.id", config.ConsumerGroup},
{"statistics.interval.ms", 60000},
{"fetch.wait.max.ms", 10},
{"bootstrap.servers", config.BrokerList},
{"enable.auto.commit", config.AutoCommit},
{"socket.blocking.max.ms",1},
{"fetch.error.backoff.ms",1 },
{"socket.nagle.disable",true },
{"auto.commit.interval.ms", 5000},
{
"default.topic.config", new Dictionary<string, object>()
{
{"auto.offset.reset", "smallest"}
}
}
};
kafka 集群由远程数据中心中的 3 台中低规格机器组成,具有默认设置。 是否可以调整代理或客户端设置以缩短此启动时间?
编辑:使用 Assign 而不是 Subscribe 自己分配分区会导致启动时间约为 2 秒
【问题讨论】:
标签: c# apache-kafka kafka-consumer-api confluent-platform