【发布时间】:2014-12-21 09:58:00
【问题描述】:
Storm 如何将任务分配给其工作人员?负载均衡是如何工作的?
【问题讨论】:
标签: apache-storm
Storm 如何将任务分配给其工作人员?负载均衡是如何工作的?
【问题讨论】:
标签: apache-storm
当您通过“storm jar ...”提交拓扑时,Storm 会将任务分配给工作人员
一个典型的 Storm 集群会有许多 Supervisor(又名 Storm 节点)。每个 Supervisor 节点(服务器)将运行许多 Worker 进程。每个 Supervisor 的工作人员数量取决于您使用 supervisor.slots.ports 分配的端口数。
当拓扑通过“storm jar”提交时,Storm 平台会确定哪些工作人员将托管您的每个 spout 和 bolt(也称为任务)。将托管您的拓扑的工作人员和执行程序的数量取决于您在开发期间设置的“并行度”,何时提交拓扑,或使用“风暴重新平衡”在实时运行的拓扑中更改。
Michael Noll 在他的博文中详细介绍了并行性、Worker 和任务:http://www.michael-noll.com/blog/2012/10/16/understanding-the-parallelism-of-a-storm-topology/#example-of-a-running-topology
【讨论】: