【问题标题】:Storm UI throwing "Offset lags for kafka not supported for older versions. Please update kafka spout to latest version."Storm UI 抛出“旧版本不支持 kafka 的偏移滞后。请将 kafka spout 更新到最新版本。”
【发布时间】:2017-02-17 08:24:17
【问题描述】:

我已将我的 hdp 集群升级到 2.5,并将storm-core 的拓扑依赖项升级到1.0.1,将storm-kafka 升级到1.0.1。在使用新的 1.0.1 依赖项部署新拓扑后,后端的一切都按预期工作,但风暴 UI 并不总是显示“Acked”、“Emitted”、“Transferred”等为零。

Storm UI 显示一条消息“旧版本不支持 kafka 的偏移滞后。请将 kafka spout 更新到最新版本。”在“Topology spouts lag error”下是什么意思?

【问题讨论】:

    标签: apache-storm hortonworks-data-platform


    【解决方案1】:

    我完全同意“Jungtaek Lim”(以上答案)。

    HDP 2.5 中的 Apache Storm 实际上与官方 Apache Storm 1.0.1 不同,因为它从下一个版本(尚未发布)中提取了更多补丁。

    我通过从 HDP 存储库 (http://repo.hortonworks.com/content/repositories/releases/org/apache/storm/storm-kafka/1.0.1.2.5.0.0-1245/) 中提取 HDP 2.5 strom-kafka 依赖项来解决此问题。

    【讨论】:

      【解决方案2】:

      HDP 2.5 中的 Apache Storm 实际上与官方 Apache Storm 1.0.1 不同,因为它从下一个版本(尚未发布)中提取了更多补丁。

      https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_release-notes/content/patch_storm.html

      Storm 1.1.0 引入了“Offset lag for Kafka”功能(尚未发布),并且需要相关的storm-kafka 版本(因此也从Storm 1.1.0 开始)。

      您需要将storm-core 和storm-kafka 的版本设置为相关(还可能需要将HWX repo 设置为您的pom)。您可以从 UI 中查看版本,或“./storm version”的结果,或守护进程的日志。

      【讨论】:

        猜你喜欢
        • 2018-09-24
        • 2013-12-26
        • 1970-01-01
        • 2019-07-01
        • 2021-11-06
        • 2017-03-09
        • 2017-09-15
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多