【问题标题】:How to listen to generic Kafka consumer如何收听通用 Kafka 消费者
【发布时间】:2021-01-21 15:17:28
【问题描述】:

我正在寻找一种解决方案,其中在 Kafka 服务器中创建了多个主题并基于另一个应用程序,它将尝试从任何生产者发布消息,但我们不知道如何根据生产者启动相应的消费者.

我们目前实施的解决方案是我们已经启动了所有的消费者,所有的消费者都会监听,当任何生产者发布消息时,相应的消费者都会接收到,这不是实现它的有效方法。谁有更好的解决方案?

EX:主题是印度、澳大利亚、新加坡

这里我不知道我会从哪个国家收到消息,所以我需要收听所有主题才能从任何主题中获取消息。有什么有效的方法吗?

【问题讨论】:

  • 为什么需要每个国家的主题,而不是在单个主题中使用每个国家的分区?否则,您当然需要阅读所有主题
  • 如果将来有 100 多个主题,听所有主题不是正确的方法。有没有更好的方法来实现这一目标? .我希望我不是唯一一个为此苦苦挣扎的人
  • 就像我说的,使用一个到多个主题的分区,您可以定位和分配消费者。否则,将主题转储到数据库中,您可以在其中使用不同的索引字段实际构建/查询

标签: apache-kafka kafka-consumer-api


【解决方案1】:

最后,我在一个配置文件中添加了所有必需的主题,我正在监听配置文件中添加的所有主题,这就是我将它用作监听所有主题的通用消费者服务的方式

【讨论】:

    猜你喜欢
    • 2020-05-02
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-06-06
    • 2016-05-15
    • 1970-01-01
    • 2016-12-02
    • 2019-08-25
    相关资源
    最近更新 更多