【问题标题】:Kafka long polling卡夫卡长轮询
【发布时间】:2013-11-04 11:14:27
【问题描述】:

我正在研究 kafka 以实现低延迟消息队列,并且我一直在阅读有关消费者长轮询的信息。但是,没有关于如何实际使用长轮询或需要设置哪些选项来启用它的示例。如何使用 kafka java api 启用长轮询?

【问题讨论】:

    标签: long-polling apache-kafka


    【解决方案1】:

    您不必每次都启用它,因为它是 kafka 消费者的默认行为。您需要在配置中设置的是fetch.wait.max.ms

    两个价值观对于实现你想要的很重要:

    • fetch.min.bytes:代理将等待此数据量填满,然后再将响应发送给消费者客户端。
    • fetch.max.wait.ms:代理将在向消费者客户端发送响应之前等待这段时间,除非它有足够的数据来填充响应 (fetch.message.min.bytes)

    一旦达到这些值中的任何一个,就会向消费者发送响应。最长可能的获取请求时间将始终为fetch.max.wait.ms

    Kafka Consumer Configs中寻找更多配置选项

    kafka 用户邮件列表也是解决此类问题的好选择。

    【讨论】:

    • 快速问题:假设fetch_max_wait_ms 时间已经过去,我们仍然没有达到最小数据字节大小,消费者会做什么?继续等待还是只接受已经存在的数据?
    • @lollerskates 我有同样的问题,第二件事是fetch.wait.max.ms 和我们在consumer.poll(<what is this time>)? 中提供的时间有什么区别,它们之间有什么关系吗?
    • 属性是 'fetch.max.wait.ms' 而不是 'fetch.wait.max.ms' 至少在 Kafka 版本 2.3+ 中
    猜你喜欢
    • 2019-07-13
    • 1970-01-01
    • 2018-09-15
    • 2014-10-19
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-08-27
    • 1970-01-01
    相关资源
    最近更新 更多