【问题标题】:How do I get the data(messags) coming in the last 'n' mins on the consumer side for Kafka-python如何获取 Kafka-python 消费者端最后 'n' 分钟内的数据(消息)
【发布时间】:2020-10-29 06:27:05
【问题描述】:

我有一个生产者,它以字典列表的形式发送消息。消费者阅读消息,但我无法获取在最后“n”分钟内到达的消息。任何帮助将不胜感激。

【问题讨论】:

  • 您可能会在字典列表中添加一个发布时间。然后,当您消费者获取数据时,它可以获取直到发布的时间离现在太远
  • 我必须使用每条消息的处理时间来做到这一点。

标签: python apache-kafka kafka-python


【解决方案1】:

有规定可以倒带特定的时间戳。为此,您需要在消费者中手动为主题分配分区,然后使用seek 方法。

【讨论】:

    猜你喜欢
    • 2018-12-01
    • 1970-01-01
    • 1970-01-01
    • 2017-08-31
    • 2016-01-15
    • 2017-12-21
    • 1970-01-01
    • 1970-01-01
    • 2016-05-15
    相关资源
    最近更新 更多