【问题标题】:Kafka offset manual commit not updating offset valueKafka 偏移量手动提交不更新偏移量值
【发布时间】:2021-09-21 04:09:15
【问题描述】:

我从 Kafka 代理读取的 python 融合 kafka 代码如下所示

self.consumer = Consumer(
            {
                "auto.offset.reset": "earliest",
                "enable.auto.commit": False,
            }
        )

while True:
        msg = self.consumer.poll(timeout=5)
        log.info(f"Before commit  {msg.topic()} {msg.partition()} 
        {msg.offset()}")
        #Before commit  stream-seg 2 6476

        self.consumer.commit(asynchronous=False)

        log.info(f"After commit  {msg.topic()} {msg.partition()} 
        {msg.offset()}")
        #After commit  stream-seg 2 6476

如上所见,提交前后的 msg.offset() 是相同的。我应该在执行 consumer.commit() 时也提交偏移值/分区还是我错过了什么

【问题讨论】:

    标签: python apache-kafka confluent-platform confluent-kafka-python


    【解决方案1】:

    您永远不会更改 msg 变量,因此不会对其属性进行修改作为提交的副作用。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-04-06
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-11-14
      相关资源
      最近更新 更多