在 AWS 中的 Mesos 上的 Strom

Question

我正在 AWS 上运行一个风暴集群。但我希望风暴集群在需要时自动扩展。我发现mesos就是这样的。但我对 mesos 及其在 AWS 上的部署了解不多。

AWS 上的 mesos 能否通过启动新实例并在不需要时关闭它们来自动增加拓扑任务的并行度？如果可以，我们如何配置 mesos。

Answer 1

Mesos 本身并不直接处理自动缩放，但允许在其上运行的框架接收新的资源提供并通过启动新的任务实例来对它们做出反应。我个人没用过，不过你可以试试 Storm-Mesos 框架在 Mesos 上运行 Storm：https://github.com/mesos/storm

在 Mesos 上运行 Storm 并准备好在资源可用时启动新实例后，您就可以在现有集群的容量内自动扩展。您可能希望利用 Amazon 的 Auto-Scaling Groups (ASG) 根据您的需要扩展 Mesos 节点的数量。随着 ASG 扩展更多的 Mesos 节点，这些节点的资源将自动提供给 Storm-Mesos 框架，该框架可以启动更多的 Storm 实例。

Answer 2

是的，您正朝着正确的方向前进。不过我建议使用 Marathon 而不是低级 Mesos API。

例如，请参阅 GitHub 存储库 obaidsalikeen/storm-marathon，它在完整性和文档丰富性方面做得特别好。