【问题标题】:kafka python - What is the right way to find new kafka topics that a consumer has not been yet subscribed to?kafka python - 找到消费者尚未订阅的新 kafka 主题的正确方法是什么?
【发布时间】:2021-04-21 19:27:15
【问题描述】:

我是 kafka 世界的新手,并尝试在 python 中为 kafka 消费者执行以下操作

  1. 获取所有 kafka 主题的列表。
  2. 获取消费者订阅的主题列表。
  3. 订阅新主题(尚未订阅)。

注意:我可以使用 confluent-kafka / kafka-python 库来实现这一点。

任何帮助将不胜感激。

【问题讨论】:

    标签: python apache-kafka kafka-consumer-api kafka-python confluent-kafka-python


    【解决方案1】:

    如果您使用 kafka-python 创建了您的消费者

    from kafka import KafkaConsumer
    
    consumer = KafkaConsumer(
     bootstrap_servers = 'hostname:port',
    )
    

    您可以查看可用的主题列表

    consumer.topics()
    

    当您订阅主题时,您可以查看消费者订阅

    consumer.subscription()
    

    你可以做一个减去另一个来找到你仍然需要订阅的主题,然后你可以这样做

    consumer.subscribe(topics=[list_of_topic_names])
    

    【讨论】:

    • 看起来 subscribe() 不允许增量主题订阅。 subscribe() fn 中提供的列表将替换现有的订阅列表。如果是这样,重新订阅相同的主题是否有任何副作用?更多信息:kafka-python.readthedocs.io/en/master/apidoc/…
    猜你喜欢
    • 2017-07-31
    • 2018-01-19
    • 1970-01-01
    • 2017-05-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-07-01
    • 1970-01-01
    相关资源
    最近更新 更多