【问题标题】:Kafka topic is still associating with old consumer group of Kafka Streams applicationKafka 主题仍然与 Kafka Streams 应用程序的旧消费者组相关联
【发布时间】:2021-04-14 15:55:14
【问题描述】:

我有一个流加入应用程序,其中我加入了两个 KStreams(比如从 topic1 读取,topic2)使用组 ID 说 consumergroup1。后来我把一个话题从topic2改成了topic3。现在在 consumergroup1 下,我仍然看到三个主题(topic1topic2topic3)并且我看到 topic2 的滞后(我不再在流连接中使用它,并且其他一些进程正在生成关于此的消息主题)

有人可以建议从 consumergroup1 中删除未使用的主题(例如上面示例中的 topic2)的最佳方法。

提前致谢。

【问题讨论】:

    标签: apache-kafka apache-kafka-streams confluent-platform


    【解决方案1】:

    Kafka Streams 应用程序是有状态的,它们在重新启动时“记住东西”,以便能够从中断的地方恢复计算,并从上次提交的偏移量继续从 Kafka 读取。

    在开发环境中,只要在需要时删除该状态(默认情况下存储在/var/lib/kafka-streams/<application.id>)或使用应用程序重置工具(请参阅https://docs.confluent.io/platform/current/streams/developer-guide/app-reset-tool.html#step-2-reset-the-local-environments-of-your-application-instances),您可能是安全的。

    您也可以在重新启动时使用不同的application.id

    在生产环境中,在这种情况下做什么更加临时,因为这些主题中有数据并且您通常希望对它做一些事情 => 您通常围绕该情况编写一些代码以确保从topic2topic3 正在做你想做的事。例如,也许您只是将topic2 留在周围,而您永远不会向其推送任何新数据,s.t.滞后保持在 0。

    【讨论】:

      猜你喜欢
      • 2016-03-29
      • 2020-12-30
      • 2020-09-19
      • 2020-08-14
      • 1970-01-01
      • 2018-06-08
      • 2017-10-17
      • 2015-12-04
      • 2017-01-26
      相关资源
      最近更新 更多