【问题标题】:How to add new Application consumers on the fly in Kafka如何在 Kafka 中动态添加新的应用程序消费者
【发布时间】:2018-09-22 19:25:50
【问题描述】:

我正在研究事件驱动的流架构,我希望有尽可能多的独立应用程序独立地从同一主题消费(不在同一个消费者组中)。为此,我会为每个新应用程序创建一个消费者组,但我想通过系统自动完成。这可能吗?这是最好的方法吗?

顺便说一下,我们是用 Python 编码的。

谢谢。

【问题讨论】:

  • 一个新组是你怎么做的,但你是什么意思“自动”?您需要自己手动运行代码并在执行此操作时更改使用者组值
  • “自动”就像使用一些 API 而不是让人类运行一些 Kafka 命令行来创建一个新的消费者组。
  • 但是无论如何您都不会使用 CLI 来创建组,您只需使用定义的组启动应用程序

标签: python events apache-kafka kafka-consumer-api consumer


【解决方案1】:

您需要做的就是在创建消费者时更改group.id 属性的值。您可以在每个应用程序中手动执行此操作,也可以使用 Python 中的 UUID 生成器生成随机字符串

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-07-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-11-18
    • 2019-11-17
    • 1970-01-01
    相关资源
    最近更新 更多