【问题标题】:Setting up Apache Storm and trying to list the running topologies设置 Apache Storm 并尝试列出正在运行的拓扑
【发布时间】:2016-04-26 15:50:08
【问题描述】:

我很难设置 Apache Storm。我目前有 3 台服务器在本地工作,但没有在远程工作。当我运行 nimbus 或 supervisor 来设置服务器时,它们会无限期地运行(我不确定这是否应该是这种情况)。我在我的 nimbus 服务器上设置了 Zookeeper,如下所示

########### These MUST be filled in for a storm configuration
    storm.zookeeper.servers:
 - "192.168.2.106"
 # - "192.168.2.105"
 # - "192.168.2.102"

 storm.local.dir: "/home/scix3/apache/storm/data"

 nimbus.host: "192.168.2.106"
 #

我只有 Zookeeper 实例(在 nimbus 上)。我的两台主管服务器上的配置文件如下:

########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
 - "192.168.2.106"
 - "192.168.2.105"
 - "192.168.2.102"
#
nimbus.host: "192.168.2.106"
storm.local.dir: "/home/scix3/apache/storm/data"
supervisor.slots.ports:
 - 6700
 - 6701
 - 6702
 - 6703

当我运行命令$ storm list 时,我收到一条消息说没有连接到任何机器。我不明白为什么,因为我认为我的配置文件是正确的。这是错误信息

854 [main] INFO backtype.storm.thrift - 在 localhost:6627 连接到 Nimbus 线程“主”org.apache.thrift7.transport.TTransportException 中的异常:java.net.ConnectException:连接被拒绝

【问题讨论】:

标签: java apache-storm apache-zookeeper


【解决方案1】:

这些是我要遵循的步骤:

  • 注释掉supervisors配置文件中的2个额外的zookeeper服务器(你说你只有一个,和nimbus一样的配置)
  • 检查(或在测试时停止)所有主机的防火墙
  • 停止一切并开始,按以下顺序:
    1. 动物园管理员
    2. 雨云
    3. 用户界面
    4. 主管
  • 检查 UI,您应该会看到那里的主管
  • 从 nimbus 主机,执行 storm list(现在它应该可以工作了)(它也应该可以在任何主管主机上工作)
  • 如果您想从任何其他地方使用 CLI,您应该至少在该机器的风暴配置文件中配置 nimbus.host IP

附加说明:当您执行storm nimbus|supervisor|ui 时,它应该无限期地运行。但是,由于它们是无状态服务,因此您应该使用任何“守护程序”(守护程序、supervisord、...;选择一个)运行它们,如果它们因任何原因停止/崩溃,它们将重新启动它们。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-04-25
    • 1970-01-01
    • 2018-10-17
    • 1970-01-01
    • 2023-04-02
    • 1970-01-01
    相关资源
    最近更新 更多