【问题标题】:kafka python - What is the right way to find new kafka topics that a consumer has not been yet subscribed to?kafka python - 找到消费者尚未订阅的新 kafka 主题的正确方法是什么?
【发布时间】:2021-04-21 19:27:15
【问题描述】:
我是 kafka 世界的新手,并尝试在 python 中为 kafka 消费者执行以下操作
- 获取所有 kafka 主题的列表。
- 获取消费者订阅的主题列表。
- 订阅新主题(尚未订阅)。
注意:我可以使用 confluent-kafka / kafka-python 库来实现这一点。
任何帮助将不胜感激。
【问题讨论】:
标签:
python
apache-kafka
kafka-consumer-api
kafka-python
confluent-kafka-python
【解决方案1】:
如果您使用 kafka-python 创建了您的消费者
from kafka import KafkaConsumer
consumer = KafkaConsumer(
bootstrap_servers = 'hostname:port',
)
您可以查看可用的主题列表
consumer.topics()
当您订阅主题时,您可以查看消费者订阅
consumer.subscription()
你可以做一个减去另一个来找到你仍然需要订阅的主题,然后你可以这样做
consumer.subscribe(topics=[list_of_topic_names])