【发布时间】:2020-04-21 11:31:29
【问题描述】:
从 Kafka Streams 2.5.0 开始,拓扑似乎必须包含输入主题。在 Kafka 2.4.1(及更早版本)中并非如此。
我有一个应用程序,其中拓扑只是创建一些全局状态存储,这些存储从其他应用程序写入的主题中读取数据。
使用 Kafka 2.5.0 我收到此错误:
13:24:27.161 [<redacted>-7cf1b5c9-4a6e-4bf2-9f77-f7f85f2df3bb-StreamThread-1] ERROR o.a.k.s.p.internals.StreamThread - stream-thread [<redacted>-7cf1b5c9-4a6e-4bf2-9f77-f7f85f2df3bb-StreamThread-1] Encountered the following error during processing:
java.lang.IllegalStateException: Consumer is not subscribed to any topics or assigned any partitions
at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:1228)
at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:1216)
at org.apache.kafka.streams.processor.internals.StreamThread.pollRequests(StreamThread.java:853)
at org.apache.kafka.streams.processor.internals.StreamThread.runOnce(StreamThread.java:753)
at org.apache.kafka.streams.processor.internals.StreamThread.runLoop(StreamThread.java:697)
at org.apache.kafka.streams.processor.internals.StreamThread.run(StreamThread.java:670)
如果我添加一个虚拟输入主题(例如通过streamsBuilder.stream(Pattern.compile("hack"));),应用程序将正常启动。
这种行为是意料之中的还是 Kafka Streams 2.5.0 中的无意更改?
更多细节:上面的用例可能看起来有点奇怪,我不得不同意。首先这样做的原因是交互式查询的缺点,即在一段时间内应用程序无法回答查询。我看到这个问题已经通过KIP-535 在 Kafka Streans 2.5.0 中得到解决,这很棒。我希望以后再调查一下智商。
【问题讨论】:
-
这似乎是一个回归错误......我想,它会通过issues.apache.org/jira/browse/KAFKA-9127修复
-
谢谢你,马蒂亚斯。我希望这将是一个回归,将在即将发布的版本中修复。
-
应该有一个解决方法:尝试设置
num.stream.threads = 0——如果可行,请告诉我们。 -
是的,谢谢,它有效,但它有一个副作用,即 Kafka Streams 状态不再转换为
RUNNING。我在 S Blee-G 的回答中添加了 cmets。 -
有趣的发现!感谢您的信息!