Apache Storm：一个集群可以创建多少个拓扑？

Question

我阅读了许多与 Storm 的拓扑设计设置相关的网站。但是，我没有搞清楚。

在我的项目中，我将处理超过一百万条记录。因此，我计划根据内部模块动态创建拓扑。计数可能会达到一千多个。我的疑问是管理拓扑的最佳方法是什么？一个集群可以创建多少个拓扑？维护多个拓扑有什么问题吗？

Answer 1

我想说，这实际上取决于集群中的机器，因此通常很难回答这个问题 - 如果集群具有异构实例，则尤其如此。

基本上，storm 可以处理许多您可以通过CLI 或 GUI 控制的拓扑。

我目前正在使用storm list 和storm kill 命令管理那些。限制应该在单台机器的 RAM、存储和网络连接中。准确地说，我会预测，瓶颈是 主管实例的 JVM 大小。这可以容纳多个工作人员（每个工作人员都具有最初配置为 256 MB 的 JVM 的螺栓和喷嘴等组件），但如果工作人员过多，则将超过每个主管所消耗的 JVM 总量。