【问题标题】:Storm Kafka spout not emitting messagesStorm Kafka spout 不发送消息
【发布时间】:2017-02-23 19:30:25
【问题描述】:

在我的风暴拓扑(带有 2 个 spout 和 1 个 bolt)中,kafka-spout 消费者之一的偏移量正在推进,但 msgs 不会通过 kafka spout 发送到 bolt。我可以在 Storm ui 中看到,对于那个特定的 spout,发出和传输的 msgs 是 0。 所以,我的问题是消费者是怎么进步的,我可以看到消费者从zookeeper客户端的偏移量逐渐增加。

【问题讨论】:

    标签: apache-storm


    【解决方案1】:

    后来我发现上述行为的原因是因为注册的序列化程序正在过滤掉 kafka 队列中的所有消息,因此没有消息从 spout 发送到 bolt。这也解释了为什么 kafka 主题消费群的 offset 会逐渐增加。

    【讨论】:

      猜你喜欢
      • 2018-08-14
      • 1970-01-01
      • 2019-10-11
      • 1970-01-01
      • 1970-01-01
      • 2015-04-22
      • 2013-06-24
      • 2015-03-13
      • 2017-08-24
      相关资源
      最近更新 更多