【问题标题】:not able to read from kafka using strom cluster无法使用 strom 集群从 kafka 读取
【发布时间】:2015-07-19 08:52:16
【问题描述】:

我正在运行 Strom 集群,其中 2 个主管和 1 个 nimbus 正在运行。我正在阅读主题 id 为“topic1”的kafka。但是在 UI 上我遇到了错误

java.lang.RuntimeException: java.lang.RuntimeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = noNode for /brokers/topics/topic1/partitions atstorm.kafka.DynamicBrok

并且 worker_*.log 显示以下错误。

java.io.FileNotFoundException: 文件 '/app/storm/supervisor/stormdist/airpushTop-1-1431081661/stormconf.ser' 不存在 在 org.apache.commons.io.FileUtils.openInputStream(FileUtils.java:299) ~[commons-io-2.4.jar:2.4] 在 org.apache.commons.io.FileUtils.readFileToByteArray(FileUtils.java:1763) ~[commons-io-2.4.jar:2.4] 在 backtype.storm.config$read_supervisor_storm_conf.invoke(config.clj:212) ~[storm-core-0.9.4.jar:0.9.4] 在 backtype.storm.daemon.worker$worker_data.invoke(worker.clj:182) ~[storm-core-0.9.4.jar:0.9.4] 在 backtype.storm.daemon.worker$fn__5033$exec_fn__1754__auto____5034.invoke(worker.clj:398) ~[storm-core-0.9.4.jar:0.9.4] 在 clojure.lang.AFn.applyToHelper(AFn.java:185) [clojure-1.5.1.jar:na] 在 clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na] 在 clojure.core$apply.invoke(core.clj:617) ~[clojure-1.5.1.jar:na] 在 backtype.storm.daemon.worker$fn__5033$mk_worker__5089.doInvoke(worker.clj:389) [storm-core-0.9.4.jar:0.9.4] 在 clojure.lang.RestFn.invoke(RestFn.java:512) [clojure-1.5.1.jar:na] 在 backtype.storm.daemon.worker$_main.invoke(worker.clj:500) [storm-core-0.9.4.jar:0.9.4] 在 clojure.lang.AFn.applyToHelper(AFn.java:172) [clojure-1.5.1.jar:na] 在 clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na] 在 backtype.storm.daemon.worker.main(未知来源)[storm-core-0.9.4.jar:0.9.4] 2015-05-08T17:09:19.209+0530 b.s.util [错误] 停止进程:(“初始化错误”) java.lang.RuntimeException:(“初始化错误”) 在 backtype.storm.util$exit_process_BANG_.doInvoke(util.clj:325) [storm-core-0.9.4.jar:0.9.4] 在 clojure.lang.RestFn.invoke(RestFn.java:423) [clojure-1.5.1.jar:na] 在 backtype.storm.daemon.worker$fn__5033$mk_worker__5089.doInvoke(worker.clj:389) [storm-core-0.9.4.jar:0.9.4] 在 clojure.lang.RestFn.invoke(RestFn.java:512) [clojure-1.5.1.jar:na] 在 backtype.storm.daemon.worker$_main.invoke(worker.clj:500) [storm-core-0.9.4.jar:0.9.4] 在 clojure.lang.AFn.applyToHelper(AFn.java:172) [clojure-1.5.1.jar:na] 在 clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na] ava.lang.RuntimeException: java.lang.RuntimeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = noNode for /brokers/topics/topic1/partitions atstorm.kafka.DynamicBrokt backtype.storm.daemon.worker.main(来源不明)[storm-core-0.9.4.jar:0.9.4]

我正在使用 kafka_2.11-0.8.2.1、apache-storm-0.9.4 和 zookeeper-3.4.6。

kafka和cluster中没有不匹配的zookeeper jar版本。

请帮帮我。

非常感谢。

【问题讨论】:

    标签: apache-storm kafka-consumer-api apache-zookeeper


    【解决方案1】:

    您是否确保 kafka 中存在 topic1 并且可以使用控制台使用者从中读取,我已经看到 org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for ... 当主题不存在时风暴拓扑已部署。

    您还可以发布一些有关如何配置 kafka spout 的代码吗?

    此错误是偶发的还是一致的?

    【讨论】:

    • 得到了解决方案,你是对的 Raj Kalluri 主题 ID 不可用。
    猜你喜欢
    • 2021-04-26
    • 1970-01-01
    • 2018-06-21
    • 2021-03-10
    • 1970-01-01
    • 2023-01-25
    • 2019-11-04
    • 2020-12-15
    • 1970-01-01
    相关资源
    最近更新 更多