【问题标题】:How to configure various supervisors for a nimbus in storm?如何为暴风雨中的雨云配置各种主管?
【发布时间】:2016-08-02 02:33:04
【问题描述】:

我有一个 nimbus 服务器和 3 个其他主管服务器。我有 11 个风暴拓扑正在运行。但所有这些都只在 Nimbus 中运行。如何配置其他主管,以便拓扑在各个主管之间分布。我必须更改哪些配置文件?

【问题讨论】:

  • 你能为你的主管服务器提供一个storm.yaml吗?
  • Storm UI 显示什么?是否所有主管都在 Nimbus 正确注册?你是什​​么拓扑参数number.workers
  • @MatthiasJ.Sax,其他人设置了主管和 nimbus。你能告诉我如何检查主管是否在 nimbus 注册。附加了风暴用户界面。您还可以看到 number.workers。

标签: apache-kafka apache-storm nimbus topology


【解决方案1】:

似乎发生了一些有趣的事情。对于两个主机corona-stage-storm-supervisor-01corona-stage-storm-supervisor-02,每个主机都有两个主管。但是,主机应该只有一个主管在运行。我认为这会“混淆” Nimbus,它使用仅运行一个主管的剩余主机 (corona-storm-nimbus-01)。

有关更多详细信息,请参阅 Storm 文档(并与进行设置的管理员交谈):

关于worker的数量:这个参数定义了一个拓扑使用了多少worker JVM(supervisor JVM启动了worker JVM来做实际的工作——supervisor基本上是“主机本地master”协调)。您可以通过conf.setNumWorkers(int) 在您的工作配置中设置它。如果您希望拓扑分布在多个主机上,则需要增加该参数。不过,对于您的情况,对于多个拓扑,一个值也可能是可以的 - 不同的拓扑应该在不同的主机上运行,​​独立于这个参数。

查看 Storm 文档了解更多详情:

【讨论】:

  • 我在从 nimbus ping 时也没有得到主管的任何响应,反之亦然。这意味着 nimbus 和 supervisor 没有映射和连接。如何配置它们以便 nimbus 和 supervisor openstack 服务器可以相互通信?
  • @tanmay2507 你得到解决方案了吗?我也面临同样的问题,即 nimbus 和主管无法相互沟通。
猜你喜欢
  • 2017-12-03
  • 1970-01-01
  • 1970-01-01
  • 2014-10-27
  • 2021-05-19
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多