【发布时间】:2021-01-21 15:17:28
【问题描述】:
我正在寻找一种解决方案,其中在 Kafka 服务器中创建了多个主题并基于另一个应用程序,它将尝试从任何生产者发布消息,但我们不知道如何根据生产者启动相应的消费者.
我们目前实施的解决方案是我们已经启动了所有的消费者,所有的消费者都会监听,当任何生产者发布消息时,相应的消费者都会接收到,这不是实现它的有效方法。谁有更好的解决方案?
EX:主题是印度、澳大利亚、新加坡
这里我不知道我会从哪个国家收到消息,所以我需要收听所有主题才能从任何主题中获取消息。有什么有效的方法吗?
【问题讨论】:
-
为什么需要每个国家的主题,而不是在单个主题中使用每个国家的分区?否则,您当然需要阅读所有主题
-
如果将来有 100 多个主题,听所有主题不是正确的方法。有没有更好的方法来实现这一目标? .我希望我不是唯一一个为此苦苦挣扎的人
-
就像我说的,使用一个到多个主题的分区,您可以定位和分配消费者。否则,将主题转储到数据库中,您可以在其中使用不同的索引字段实际构建/查询
标签: apache-kafka kafka-consumer-api