【发布时间】:2015-07-12 09:04:57
【问题描述】:
在 0.8.2 中,提交偏移量似乎不再像以前那样存在性能问题 (http://blog.confluent.io/2014/12/02/whats-coming-in-apache-kafka-0-8-2/)。高级消费者是否也利用了这一点,或者它是一个单独的 API? IE。使用高级消费者时,我可以安全地开始更频繁地提交吗?
【问题讨论】:
标签: apache-kafka kafka-consumer-api
在 0.8.2 中,提交偏移量似乎不再像以前那样存在性能问题 (http://blog.confluent.io/2014/12/02/whats-coming-in-apache-kafka-0-8-2/)。高级消费者是否也利用了这一点,或者它是一个单独的 API? IE。使用高级消费者时,我可以安全地开始更频繁地提交吗?
【问题讨论】:
标签: apache-kafka kafka-consumer-api
我还不能谈论与 Zookeeper 偏移存储的性能比较,但高级消费者确实支持在 Kafka 中使用 0.8.2 存储偏移。您可以通过将属性offsets.storage 设置为kafka 来配置它。您还需要在迁移过程中将属性 dual.commit.enabled 设置为 true,以便为当前向 Zookeeper 提交偏移量的任何现有消费者组。
请参阅 details on migration 的 Apache Kafka 常见问题解答。
【讨论】: