【问题标题】:Kafka Streams 2.5.0 requires input topicKafka Streams 2.5.0 需要输入主题
【发布时间】:2020-04-21 11:31:29
【问题描述】:

从 Kafka Streams 2.5.0 开始,拓扑似乎必须包含输入主题。在 Kafka 2.4.1(及更早版本)中并非如此。

我有一个应用程序,其中拓扑只是创建一些全局状态存储,这些存储从其他应用程序写入的主题中读取数据。

使用 Kafka 2.5.0 我收到此错误:

13:24:27.161 [<redacted>-7cf1b5c9-4a6e-4bf2-9f77-f7f85f2df3bb-StreamThread-1] ERROR o.a.k.s.p.internals.StreamThread - stream-thread [<redacted>-7cf1b5c9-4a6e-4bf2-9f77-f7f85f2df3bb-StreamThread-1] Encountered the following error during processing:
java.lang.IllegalStateException: Consumer is not subscribed to any topics or assigned any partitions
    at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:1228)
    at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:1216)
    at org.apache.kafka.streams.processor.internals.StreamThread.pollRequests(StreamThread.java:853)
    at org.apache.kafka.streams.processor.internals.StreamThread.runOnce(StreamThread.java:753)
    at org.apache.kafka.streams.processor.internals.StreamThread.runLoop(StreamThread.java:697)
    at org.apache.kafka.streams.processor.internals.StreamThread.run(StreamThread.java:670)

如果我添加一个虚拟输入主题(例如通过streamsBuilder.stream(Pattern.compile("hack"));),应用程序将正常启动。

这种行为是意料之中的还是 Kafka Streams 2.5.0 中的无意更改?

更多细节:上面的用例可能看起来有点奇怪,我不得不同意。首先这样做的原因是交互式查询的缺点,即在一段时间内应用程序无法回答查询。我看到这个问题已经通过KIP-535 在 Kafka Streans 2.5.0 中得到解决,这很棒。我希望以后再调查一下智商。

【问题讨论】:

  • 这似乎是一个回归错误......我想,它会通过issues.apache.org/jira/browse/KAFKA-9127修复
  • 谢谢你,马蒂亚斯。我希望这将是一个回归,将在即将发布的版本中修复。
  • 应该有一个解决方法:尝试设置num.stream.threads = 0——如果可行,请告诉我们。
  • 是的,谢谢,它有效,但它有一个副作用,即 Kafka Streams 状态不再转换为 RUNNING。我在 S Blee-G 的回答中添加了 cmets。
  • 有趣的发现!感谢您的信息!

标签: apache-kafka-streams


【解决方案1】:

当我们切换(返回)使用collection subscription 时,在 2.5.0 中引入了回归。 fix 刚刚合并,因此您应该在它们发布时升级到 2.5.1 或 2.6。

【讨论】:

  • 我可以确认该问题已在 2.6.0 中得到修复。谢谢。
【解决方案2】:

如果您的拓扑没有任何非全局部分,则根本没有理由拥有任何 StreamThreads。这意味着您只需将num.threads 设置为零即可轻松解决此问题——可以说,无论如何您都应该这样做以避免不必要的开销和组协调。当检测到仅全局拓扑时,默认情况下将此设置为零是“修复”,因此您无需等待

【讨论】:

  • 虽然我可以确认设置num.stream.threads=0 可以启动我的仅限全局拓扑,但它有一个有趣的副作用。 Kafka Streams 状态现在只是从CREATED 转换为REBALANCING,但从未转换为RUNNING。在我原来的问题中使用 hack 意味着状态转换为RUNNING。我发现这很有趣,因为目前我正在对 Kubernetes 进行健康检查,查看 Kafka Streams 状态,到目前为止,RUNNING 似乎是一个健康的 Kafka Streams 应用程序的合理预期状态。
  • 我还没有看到任何地方(现在预计在这里和issues.apache.org/jira/browse/KAFKA-9127)提到num.stream.threads=0 应该用于仅全局拓扑。我错过了什么?或者可能只是因为我认为 num.stream.threads 必须为 1 或更大,而不是将其增加到 1 以上,您可以启动更多 Kafka Streams 应用程序实例。
  • 哦,对了,全局线程不会触发到 RUNNING 的转换:/ 这也将在 KAFKA-9127 的 PR 中修复并向后移植到 2.5,但现在你的解决方法是虚拟模式听起来最好。
  • 顺便说一句,我并不是要暗示您应该知道将线程设置为零,只是这样做符合您的最大利益。我认为没有人想记录这一点,甚至认为这是可能的,因为我们没想到人们会运行仅限全球的流应用程序。出于好奇,您能描述一下您的用例吗?
  • 是的,KIP-535 可能正是您所需要的。请注意,在某些情况下,KIP-441 还应该极大地帮助提高商店的可用性。它的目标是下一个版本(version2.6):cwiki.apache.org/confluence/display/KAFKA/…
【解决方案3】:
private void subscribeConsumer() {
    if (builder.usesPatternSubscription()) {
        // this is old behaviour - is there a config that will revert to this??
        consumer.subscribe(builder.sourceTopicPattern(), rebalanceListener);
    } else {
        consumer.subscribe(builder.sourceTopicCollection(), rebalanceListener);
    }
}

【讨论】:

    【解决方案4】:

    观察到同样的情况。 请参阅 StreamThread.java 中的更改。 这是由以下人员介绍的: https://issues.apache.org/jira/browse/KAFKA-7317

    https://github.com/apache/kafka/pull/7969/

    肯定有一个配置设置来维持 2.5.0 之前的行为(即使用 consumer.subscribe(builder.sourceTopicPattern(), rebalanceListener) 订阅)??

    见 sn-p...

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-03-07
      • 1970-01-01
      • 1970-01-01
      • 2019-07-25
      • 1970-01-01
      • 1970-01-01
      • 2020-01-08
      • 1970-01-01
      相关资源
      最近更新 更多